运行生成式 AI（GenAI）模型

当 GenAI 模型完成准备并针对部署进行优化后，您就可以在目标设备上运行该模型。Qualcomm 平台提供多种执行路径以满足不同需求，从高层次抽象到底层控制。下表总结了 GenAI 模型的各种执行方式。

执行方式	详细信息	关键考量
生成式 AI 推理扩展（Genie）	Qualcomm 提供的框架，旨在简化 LLM 和多模态模型等复杂 GenAI 模型的执行。	处理多个二进制文件的编排、内存管理，以及跨 CPU、GPU 和 NPU 的硬件加速。	适合希望以最少集成工作量实现即插即用部署的开发者。	针对 Qualcomm 硬件优化，提供低延迟和高能效。	最适合快速部署和面向生产的应用。
Qualcomm AI Runtime SDK（QAIRT）	提供直接执行 QAIRT 二进制文件的底层 API。	为需要自定义执行流程或性能分析的开发者提供细粒度控制。	适用于性能调优至关重要的高级用例。	针对 Qualcomm 硬件优化，提供低延迟和高能效。	最适合自定义工作流程和性能分析。
开源运行时	模型也可以使用开源运行时执行。	这种方法适合希望在利用 Qualcomm 优化的同时保持与现有开源生态系统兼容的开发者。	开源运行时提供可移植性，但在 Qualcomm 平台上可能需要额外调优。	最适合研究或混合环境。