> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 运行生成式 AI (GenAI) 模型

> 使用 Genie、Qualcomm AI Runtime SDK 或开源运行时,在 Qualcomm Dragonwing IoT 设备上运行准备好的 GenAI 模型。

GenAI 模型经过准备并优化以供部署后,您可以在目标设备上运行该模型。Qualcomm 平台提供多种执行路径以满足不同需求,涵盖从高层抽象到低层控制。

下表总结了 GenAI 模型的执行方法。

| 执行方法                                       | 详情                                                | 关键考虑因素                                      |                                        |                             |                  |
| ------------------------------------------ | ------------------------------------------------- | ------------------------------------------- | -------------------------------------- | --------------------------- | ---------------- |
| Generative AI Inference Extensions (Genie) | Qualcomm 提供的框架,专为简化 LLM 和多模态模型等复杂 GenAI 模型的执行而设计。 | 处理跨 CPU、GPU 和 NPU 的多个二进制文件的编排、内存管理和硬件加速。    | 非常适合希望以最少集成工作实现即插即用部署的开发者。             | 针对 Qualcomm 硬件优化,提供低延迟和高能效。 | 最适合快速部署和生产就绪的应用。 |
| Qualcomm AI Runtime SDK (QAIRT)            | 提供用于直接执行 QAIRT 二进制文件的低级 API。                      | 为需要自定义执行流程或性能剖析的开发者提供细粒度的控制。                | 适用于对性能调优要求较高的高级用例。                     | 针对 Qualcomm 硬件优化,提供低延迟和高能效。 | 最适合自定义工作流和性能剖析。  |
| 开源运行时                                      | 也可以使用开源运行时执行模型。                                   | 该方法适用于希望保持与现有开源生态系统兼容,同时利用 Qualcomm 优化的开发者。 | 开源运行时提供可移植性,但可能需要针对 Qualcomm 平台进行额外调优。 | 最适合研究或混合环境。                 |                  |