> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 运行端侧生成式 AI（GenAI）

> 使用 Genie、Qualcomm AI Hub 和 QAIRT SDK 在 Qualcomm Dragonwing IoT 平台上准备、运行和开发生成式 AI 应用程序。

Qualcomm® Dragonwing™ 产品将生成式 AI（GenAI）带到边缘设备，无需完全依赖云基础设施，从而为各类 IoT 应用降低延迟、增强隐私并降低成本。

下图展示了 GenAI 架构，包括支持的用例和应用程序、GenAI 框架，以及底层后端和库。

<img src="https://mintcdn.com/qualcomm-prod/L-jqwrTTz49ZAgVX/Key-Documents/AI-Developer-Workflow/_images/genai-arch.png?fit=max&auto=format&n=L-jqwrTTz49ZAgVX&q=85&s=741e7f6102c08d25a389089b9ac4119f" alt="GenAI 架构图" width="2783" height="1606" data-path="Key-Documents/AI-Developer-Workflow/_images/genai-arch.png" />

Dragonwing IQ 产品集成了 CPU、GPU 和 Hexagon NPU 以实现异构计算，并针对大语言模型（LLM）、视觉和多模态 AI 任务进行了优化。主流 GenAI 模型——包括 Llama、Whisper、Stable Diffusion 和 LLaVA——均支持机器人、零售和工业自动化等 IoT 场景。

为实现响应迅速的 LLM 性能，Dragonwing IQ 通过 prefill 加速和自推测解码（self-speculative decoding）等技术支持数十亿参数级模型。要启用自带模型（BYOM）工作流并简化部署，请使用 Qualcomm AI Hub、Qualcomm AI Runtime SDK 执行提供程序（execution provider）以及 Qualcomm Generative AI Inference Extensions（Genie）。

## 端侧 GenAI 的重要性

Dragonwing 上的生成式 AI 在边缘提供上下文感知、自适应且保护隐私的解决方案，为自主无人机、预测性维护、多模态智能体和端侧检索增强生成（RAG）等用例实现自动化、个性化和运营效率。

## 开始使用

请选择与您的 GenAI 工作流相匹配的选项。

<CardGroup cols={2}>
  <Card title="准备 GenAI 模型" icon="wand-magic-sparkles" href="../topic/prepare-genai-model">
    准备可在 Qualcomm Dragonwing IoT 设备上执行的 GenAI 模型。
  </Card>

  <Card title="运行 GenAI 模型" icon="robot" href="../topic/run-genai-model">
    在 Qualcomm Dragonwing IoT 设备上运行已准备好的 GenAI 模型。
  </Card>

  <Card title="通过 Genie 使用 GenAI 模型" icon="brain" href="../topic/use-genai-model-with-genie">
    使用 Qualcomm Generative AI Inference Extensions（Genie）准备、管理和执行 GenAI 模型。
  </Card>

  <Card title="开发 GenAI 应用程序" icon="rocket" href="../topic/develop-genai-app">
    基于 Qualcomm 示例应用程序构建您自己的 GenAI 应用程序。
  </Card>
</CardGroup>
