> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 运行设备端生成式 AI (GenAI)
> 使用 Genie、Qualcomm AI Hub 和 QAIRT SDK 在 Qualcomm Dragonwing IoT 平台上准备、运行和开发生成式 AI 应用。
Qualcomm® Dragonwing™ 产品将生成式 AI (GenAI) 引入边缘设备,而不必完全依赖云基础设施,从而降低延迟、增强隐私,并为多样化的 IoT 应用降低成本。
下图展示了 GenAI 架构,包括支持的用例和应用、GenAI 框架,以及底层的后端和库。
Dragonwing IQ 产品集成了 CPU、GPU 和 Hexagon NPU 以进行异构计算,并针对大语言模型 (LLM)、视觉和多模态 AI 任务进行了优化。领先的 GenAI 模型——包括 Llama、Whisper、Stable Diffusion 和 LLaVA——均支持在机器人、零售和工业自动化等 IoT 场景中使用。
为实现响应迅速的 LLM 性能,Dragonwing IQ 通过预填充加速和自推测解码等技术支持数十亿参数的模型。要启用引入自有模型 (BYOM) 工作流并简化部署,请使用 Qualcomm AI Hub、Qualcomm AI Runtime SDK 执行提供程序和 Qualcomm Generative AI Inference Extensions (Genie)。
## 为什么设备端 GenAI 重要
Dragonwing 上的生成式 AI 在边缘提供上下文感知、自适应且保护隐私的解决方案,支持自动化、个性化和运营效率,适用于自主无人机、预测性维护、多模态代理和设备端检索增强生成 (RAG) 等用例。
## 开始使用
选择与您的 GenAI 工作流相匹配的选项。
为 Qualcomm Dragonwing IoT 设备上的执行准备 GenAI 模型。
在 Qualcomm Dragonwing IoT 设备上运行准备好的 GenAI 模型。
使用 Qualcomm Generative AI Inference Extensions (Genie) 准备、管理和执行 GenAI 模型。
部署 Qualcomm 兼容 OpenAI 的 LLM/VLM 容器,在 NPU 上运行大语言模型和视觉语言模型。
基于 Qualcomm 示例应用构建您自己的 GenAI 应用。