> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 概述
> 在 Qualcomm 平台上构建 AI 应用程序所需的工具、运行时和框架概述，并提供选择模型准备和运行方式的引导路径。
本指南介绍如何使用 Qualcomm Dragonwing IoT 平台支持的工具、运行时和框架进行 AI 应用程序开发。它面向希望训练或微调模型、准备模型部署并在 Qualcomm 硬件上构建 AI 应用程序的开发者。
本指南中的大多数决策归结为两个问题：
* \*\*您将如何准备模型？\*\*针对目标硬件进行转换、量化、编译或微调。
* \*\*您将如何运行推理？\*\*即在设备上执行模型的运行时或集成路径。
您可以引入来自 ONNX、PyTorch、TensorFlow 或 LiteRT 的预训练模型，并在 Qualcomm Kryo™ CPU、Adreno™ GPU 和 Hexagon™ NPU（HTP）上高效运行它们。
## 选择您的旅程
使用下面的流程图找到适合您应用程序的路径。它会引导您判断是否已有模型、如何**准备**模型（紫色）以及如何**运行推理**（蓝色），然后链接到相应的指南。每个高亮的方框都可以点击。
```mermaid theme={null}
flowchart TD
Q1{"Do you already have
a trained model?"}
Q1 -->|"No, just show me what it can do"| RunPrebuilt["Run prebuilt AI models & apps
LiteRT on NPU · Qdemo UI · IM SDK sample · QDC"]
Q1 -->|"Yes / bring my own
ONNX · PyTorch · TF · LiteRT"| GenQ{"Generative AI?
LLM · diffusion"}
GenQ -->|"Yes"| GenAI["GenAI workflow
prepare → run → Genie"]
GenQ -->|"No, classic ML / vision"| Prep{"Prepare the model"}
Prep -->|"Ready model, or BYOM in the cloud"| AIHub["Qualcomm AI Hub
ready models · BYOM
(compile/convert in the cloud)"]
Prep -->|"Convert + quantize my own (local)"| QAIRT["QAIRT SDK"]
Prep -->|"Recover quantized accuracy"| AIMET["AIMET (PTQ / QAT)"]
Prep -->|"Fine-tune with my own data"| EI["Edge Impulse"]
AIHub --> Runtime{"Run inference"}
QAIRT --> Runtime
AIMET --> Runtime
EI --> Runtime
Runtime -->|"Python / quick"| LiteRT["LiteRT + AI Engine Direct delegate"]
Runtime -->|"C++ / low-level control"| QAIRTcpp["QAIRT SDK C++ APIs"]
Runtime -->|"Camera / video + AI pipeline"| IMSDK["Qualcomm IM SDK
GStreamer · zero-copy · GPU pre/post"]
click RunPrebuilt "/zh/Key-Documents/AI-Developer-Workflow/map/run-prebuilt-models-and-apps"
click GenAI "/zh/Key-Documents/AI-Developer-Workflow/map/run-on-device-genai"
click AIHub "/zh/Key-Documents/AI-Developer-Workflow/topic/ai-hub"
click QAIRT "/zh/Key-Documents/AI-Developer-Workflow/topic/qairt"
click AIMET "/zh/Key-Documents/AI-Developer-Workflow/topic/aimet"
click EI "/zh/Key-Documents/AI-Developer-Workflow/topic/edge-impulse"
click LiteRT "/zh/Key-Documents/AI-Developer-Workflow/topic/litert-overview"
click QAIRTcpp "/zh/Key-Documents/AI-Developer-Workflow/topic/develop-your-own-application-qairt-cpp"
click IMSDK "/zh/Key-Documents/AI-Developer-Workflow/topic/develop-your-own-application-im-sdk"
classDef prep fill:#31017D,stroke:#31017D,color:#fff;
classDef run fill:#3253DC,stroke:#3253DC,color:#fff;
class AIHub,QAIRT,AIMET,EI,GenAI prep;
class RunPrebuilt,LiteRT,QAIRTcpp,IMSDK run;
```
端侧生成式 AI 的可用性取决于您的 Qualcomm Linux 版本。有关当前支持状态，请参阅 [GenAI 工作流](../map/run-on-device-genai)页面。
## AI 架构
下图展示了 Qualcomm 平台上的 AI 应用程序开发架构。
## 准备您的模型
在模型能够在 Qualcomm 硬件上高效运行之前，需要先将其转换为可执行格式，并且针对 Hexagon NPU（HTP）量化为受支持的精度。（LiteRT 模型是个例外：它们可以直接通过 AI Engine Direct delegate 运行。）请选择与您的起点相匹配的准备工具。
| 工具 | 用途 | 输出 |
| ------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------- | -------------------------------------------- |
| [Qualcomm AI Hub](../topic/ai-hub) | 下载预优化模型，或**自带模型（BYOM）**，由 QAIRT **在云端针对您的目标芯片组进行编译、转换和量化**，无需本地工具链。 | 可直接运行的 LiteRT 或 Qualcomm AI Engine Direct 模型 |
| [Qualcomm AI Runtime SDK（QAIRT）](../topic/qairt) | AI Hub BYOM 的**本地**替代方案：自行转换、量化和编译来自 TensorFlow、PyTorch、LiteRT 或 ONNX 的模型。集成 AI Engine Direct 和 Neural Processing SDK。 | 量化模型 / 编译后的 context binary |
| \[Qualcomm AI Model Efficiency Toolkit (../topic/aimet) | 使用训练后量化（PTQ）和量化感知训练（QAT）恢复量化过程中损失的精度。 | 精度更高的量化模型 |
| [Edge Impulse](../topic/edge-impulse) | 基于您自己的音频、图像和传感器数据构建、训练或微调模型。 | 您所选格式的已训练模型 |
## 运行推理
模型准备完成后，选择在设备上执行它的方式。您选择的运行时取决于您使用的语言、模型格式，以及是否要构建完整的摄像头/视频管道。
| 运行时 / 集成方式 | 最适用于 |
| ----------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------- |
| [LiteRT](../topic/litert-overview) | 使用 Qualcomm AI Engine Direct delegate，通过 Python 或 C++ 实现高性能端侧推理。 |
| [QAIRT SDK C++ API](../topic/develop-your-own-application-qairt-cpp) | 以底层 C++ 方式控制模型执行和推理后端。 |
| [Qualcomm 智能多媒体 SDK（IM SDK）](../topic/develop-your-own-application-im-sdk) | 高性能摄像头、视频和视觉管道，结合采集、预处理、推理和渲染，具有零拷贝缓冲区和 GPU 前/后处理。 |
| [Qualcomm® GenAI Inference Engine（Genie）](https://docs.qualcomm.com/doc/80-63442-10/topic/index_Genie.html) | 运行和编排端侧生成式 AI（LLM、多模态）工作流。 |
正在构建机器人应用程序？[Qualcomm® Intelligent Robotics（QIR）SDK](https://www.thundercomm.com/rubik-pi-3/en/docs/rubik-pi-3-user-manual/1.0.0-u/Application%20Development%20and%20Execution%20Guide/Robotics-Sample-Applications/Robotics%20Sample%20Applications/) 在这些运行时之上增加了基于 ROS 的模块和硬件加速节点。
## AI 硬件
Qualcomm 平台包含以下用于 AI 推理的硬件加速器：
* **Qualcomm Kryo™ CPU** —— 具有一流能效的高性能 CPU。
* **Qualcomm Adreno™ GPU**：为 AI 工作负载提供功耗与性能的平衡，通过 OpenCL 内核加速。也用于模型的**前处理和后处理**（例如，IM SDK 在 GPU 上执行缩放、颜色转换和叠加）。
* **Qualcomm Hexagon™ Tensor Processor（HTP）**：也称为 NPU/DSP/HMX。针对低功耗、高性能 AI **推理**进行了优化。为获得最佳性能，请将预训练模型量化为受支持的精度。