> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 准备 GenAI 模型

> 使用 Qualcomm AI Hub 或 Qualcomm Jupyter notebook 为 Qualcomm Dragonwing IoT 平台上的部署准备生成式 AI (GenAI) 模型。

要为 Qualcomm® Dragonwing™ IQ 系列评估套件准备 GenAI 模型以供执行,可使用 [Qualcomm AI Hub](https://aihub.qualcomm.com/iot/models) 从具有预计算编码的模型中导出模型二进制文件,或使用 [Qualcomm Jupyter notebook](https://qpm.qualcomm.com/#/main/tools/details/Tutorial_for_LLaVA1_5_7b_IoT) 从预训练模型生成模型二进制文件。

<Note>
  要查看更多 Jupyter notebook 示例,请访问 [Qualcomm Package Manager](https://qpm.qualcomm.com/#/main/home),选择 **Tools**,然后搜索 **Generative AI Tutorials**。

  <img src="https://mintlify.s3.us-west-1.amazonaws.com/qualcomm-prod/zh/AI-Developer-Workflow-Ubuntu/_images/qpm-jupyter-notebooks.png" />
</Note>

下图展示了两种方案的准备流程和基本系统要求。

<img src="https://mintlify.s3.us-west-1.amazonaws.com/qualcomm-prod/zh/AI-Developer-Workflow-Ubuntu/_images/genai-model-preparation.png" alt="GenAI 模型准备流程,以及 AI Hub 和 Jupyter notebook 两种方案的系统要求" />

Qualcomm AI Model Efficiency Toolkit (AIMET) 支持高级量化技术。根据所使用的模型,您可能需要选择不同的量化技术以获得更好的准确性。

下表总结了 GenAI 模型准备的方法。

| 特性     | AI Hub                 | Jupyter notebook               |
| ------ | ---------------------- | ------------------------------ |
| 自动化程度  | 高:一条命令即可导出             | 中:由 Jupyter notebook 引导的分步流程   |
| 定制能力   | 有限:仅适用于托管在 AI Hub 上的模型 | 高:可完全控制量化和图优化                  |
| 目标受众   | 追求快速部署的用户              | 研究人员和高级用户                      |
| 主机系统要求 | 中:80 GB 内存 + 交换空间      | 高:如 A100 之类的高端 GPU,以及内存 + 交换空间 |