要查看更多 Jupyter notebook 示例,请访问 Qualcomm Package Manager,选择 Tools,然后搜索 Generative AI Tutorials。
Qualcomm AI Model Efficiency Toolkit (AIMET) 支持高级量化技术。根据所使用的模型,您可能需要选择不同的量化技术以获得更好的准确性。
下表总结了 GenAI 模型准备的方法。
准备 GenAI 模型
使用 Qualcomm AI Hub 或 Qualcomm Jupyter notebook 为 Qualcomm Dragonwing IoT 平台上的部署准备生成式 AI (GenAI) 模型。
要为 Qualcomm® Dragonwing™ IQ 系列评估套件准备 GenAI 模型以供执行,可使用 Qualcomm AI Hub 从具有预计算编码的模型中导出模型二进制文件,或使用 Qualcomm Jupyter notebook 从预训练模型生成模型二进制文件。
Qualcomm AI Model Efficiency Toolkit (AIMET) 支持高级量化技术。根据所使用的模型,您可能需要选择不同的量化技术以获得更好的准确性。
下表总结了 GenAI 模型准备的方法。
下图展示了两种方案的准备流程和基本系统要求。
Qualcomm AI Model Efficiency Toolkit (AIMET) 支持高级量化技术。根据所使用的模型,您可能需要选择不同的量化技术以获得更好的准确性。
下表总结了 GenAI 模型准备的方法。