> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 运行生成式 AI（GenAI）模型

> 使用 Genie、Qualcomm AI Runtime SDK 或开源运行时，在 Qualcomm Dragonwing IoT 设备上运行已准备好的 GenAI 模型。

当 GenAI 模型完成准备并针对部署进行优化后，您就可以在目标设备上运行该模型。Qualcomm 平台提供多种执行路径以满足不同需求，从高层次抽象到底层控制。

下表总结了 GenAI 模型的各种执行方式。

| 执行方式                           | 详细信息                                           | 关键考量                                         |                                      |                             |                  |
| ------------------------------ | ---------------------------------------------- | -------------------------------------------- | ------------------------------------ | --------------------------- | ---------------- |
| 生成式 AI 推理扩展（Genie）             | Qualcomm 提供的框架，旨在简化 LLM 和多模态模型等复杂 GenAI 模型的执行。 | 处理多个二进制文件的编排、内存管理，以及跨 CPU、GPU 和 NPU 的硬件加速。   | 适合希望以最少集成工作量实现即插即用部署的开发者。            | 针对 Qualcomm 硬件优化，提供低延迟和高能效。 | 最适合快速部署和面向生产的应用。 |
| Qualcomm AI Runtime SDK（QAIRT） | 提供直接执行 QAIRT 二进制文件的底层 API。                     | 为需要自定义执行流程或性能分析的开发者提供细粒度控制。                  | 适用于性能调优至关重要的高级用例。                    | 针对 Qualcomm 硬件优化，提供低延迟和高能效。 | 最适合自定义工作流程和性能分析。 |
| 开源运行时                          | 模型也可以使用开源运行时执行。                                | 这种方法适合希望在利用 Qualcomm 优化的同时保持与现有开源生态系统兼容的开发者。 | 开源运行时提供可移植性，但在 Qualcomm 平台上可能需要额外调优。 | 最适合研究或混合环境。                 |                  |