运行生成式 AI (GenAI) 模型 - Qualcomm Dragonwing Documentation

GenAI 模型经过准备并优化以供部署后,您可以在目标设备上运行该模型。Qualcomm 平台提供多种执行路径以满足不同需求,涵盖从高层抽象到低层控制。下表总结了 GenAI 模型的执行方法。

执行方法	详情	关键考虑因素
Generative AI Inference Extensions (Genie)	Qualcomm 提供的框架,专为简化 LLM 和多模态模型等复杂 GenAI 模型的执行而设计。	处理跨 CPU、GPU 和 NPU 的多个二进制文件的编排、内存管理和硬件加速。	非常适合希望以最少集成工作实现即插即用部署的开发者。	针对 Qualcomm 硬件优化,提供低延迟和高能效。	最适合快速部署和生产就绪的应用。
Qualcomm AI Runtime SDK (QAIRT)	提供用于直接执行 QAIRT 二进制文件的低级 API。	为需要自定义执行流程或性能剖析的开发者提供细粒度的控制。	适用于对性能调优要求较高的高级用例。	针对 Qualcomm 硬件优化,提供低延迟和高能效。	最适合自定义工作流和性能剖析。
开源运行时	也可以使用开源运行时执行模型。	该方法适用于希望保持与现有开源生态系统兼容,同时利用 Qualcomm 优化的开发者。	开源运行时提供可移植性,但可能需要针对 Qualcomm 平台进行额外调优。	最适合研究或混合环境。