概述 - Qualcomm Dragonwing Documentation

本指南介绍如何使用 Qualcomm Dragonwing IoT 平台支持的工具、运行时和框架进行 AI 应用程序开发。它面向希望训练或微调模型、准备模型部署并在 Qualcomm 硬件上构建 AI 应用程序的开发者。本指南中的大多数决策归结为两个问题：

您可以引入来自 ONNX、PyTorch、TensorFlow 或 LiteRT 的预训练模型，并在 Qualcomm Kryo™ CPU、Adreno™ GPU 和 Hexagon™ NPU（HTP）上高效运行它们。

选择您的旅程

使用下面的流程图找到适合您应用程序的路径。它会引导您判断是否已有模型、如何准备模型（紫色）以及如何运行推理（蓝色），然后链接到相应的指南。每个高亮的方框都可以点击。

端侧生成式 AI 的可用性取决于您的 Qualcomm Linux 版本。有关当前支持状态，请参阅 GenAI 工作流页面。

下图展示了 Qualcomm 平台上的 AI 应用程序开发架构。

在模型能够在 Qualcomm 硬件上高效运行之前，需要先将其转换为可执行格式，并且针对 Hexagon NPU（HTP）量化为受支持的精度。（LiteRT 模型是个例外：它们可以直接通过 AI Engine Direct delegate 运行。）请选择与您的起点相匹配的准备工具。

工具	用途	输出
Qualcomm AI Hub	下载预优化模型，或自带模型（BYOM），由 QAIRT 在云端针对您的目标芯片组进行编译、转换和量化，无需本地工具链。	可直接运行的 LiteRT 或 Qualcomm AI Engine Direct 模型
Qualcomm AI Runtime SDK（QAIRT）	AI Hub BYOM 的本地替代方案：自行转换、量化和编译来自 TensorFlow、PyTorch、LiteRT 或 ONNX 的模型。集成 AI Engine Direct 和 Neural Processing SDK。	量化模型 / 编译后的 context binary
[Qualcomm AI Model Efficiency Toolkit (../topic/aimet)	使用训练后量化（PTQ）和量化感知训练（QAT）恢复量化过程中损失的精度。	精度更高的量化模型
Edge Impulse	基于您自己的音频、图像和传感器数据构建、训练或微调模型。	您所选格式的已训练模型

模型准备完成后，选择在设备上执行它的方式。您选择的运行时取决于您使用的语言、模型格式，以及是否要构建完整的摄像头/视频管道。

运行时 / 集成方式	最适用于
LiteRT	使用 Qualcomm AI Engine Direct delegate，通过 Python 或 C++ 实现高性能端侧推理。
QAIRT SDK C++ API	以底层 C++ 方式控制模型执行和推理后端。
Qualcomm 智能多媒体 SDK（IM SDK）	高性能摄像头、视频和视觉管道，结合采集、预处理、推理和渲染，具有零拷贝缓冲区和 GPU 前/后处理。
Qualcomm® GenAI Inference Engine（Genie）	运行和编排端侧生成式 AI（LLM、多模态）工作流。

正在构建机器人应用程序？Qualcomm® Intelligent Robotics（QIR）SDK 在这些运行时之上增加了基于 ROS 的模块和硬件加速节点。

Qualcomm 平台包含以下用于 AI 推理的硬件加速器：

Qualcomm Kryo™ CPU —— 具有一流能效的高性能 CPU。
Qualcomm Adreno™ GPU：为 AI 工作负载提供功耗与性能的平衡，通过 OpenCL 内核加速。也用于模型的前处理和后处理（例如，IM SDK 在 GPU 上执行缩放、颜色转换和叠加）。
Qualcomm Hexagon™ Tensor Processor（HTP）：也称为 NPU/DSP/HMX。针对低功耗、高性能 AI 推理进行了优化。为获得最佳性能，请将预训练模型量化为受支持的精度。