Skip to main content
要在 Qualcomm AI 硬件上快速原型化模型,AI Hub 提供了一种方法,可针对视觉、音频和语音场景, 在设备端优化、验证和部署机器学习模型。 Qualcomm AI Hub 工作流概览

设置您的环境

1

设置 Python 环境

在您的主机上安装 miniconda。为 AI Hub 设置 Python 虚拟环境:
2

安装 git

3

安装 AI Hub Python 客户端

4

登录 AI Hub

访问 AI Hub,使用您的 Qualcomm ID 登录,以查看您创建的作业相关信息。登录后,前往 Account > Settings > API Token 获取用于配置客户端的 API 令牌。
5

使用 API 令牌配置客户端

选择 AI Hub 工作流

尝试预优化模型

1

浏览 AI Hub Model Zoo

访问 AI Hub Model Zoo,获取适用于 Qualcomm 评估套件的预优化模型。
2

按 EVK 筛选模型

在左侧窗格中选择匹配的芯片组。例如, 为 Qualcomm Dragonwing™ RB3 Gen 2 选择 Qualcomm QCS6490。
3

选择模型

从筛选后的视图中选择模型以进入模型页面。
4

选择运行时和精度

在模型页面上,选择运行时和精度。
5

下载模型

选择 Download 下载模型。下载的模型已预优化,可用于部署。有关更多信息,请参阅运行推理。
AI Hub 模型下载页面

自带模型

1

选择预训练模型

选择 PyTorch 或 ONNX 格式的预训练模型。
2

提交模型以进行编译或优化

使用 Python API 向 AI Hub 提交模型以进行编译或优化。提交编译作业时,为您的 EVK 选择设备或芯片组以及目标运行时。对于 Qualcomm Dragonwing™ RB3 Gen 2,支持 LiteRT 运行时。提交后,AI Hub 会为该作业生成一个唯一 ID。您可以 使用此作业 ID 查看作业详细信息。
3

AI Hub 优化模型

AI Hub 会根据您选择的设备和运行时对模型进行优化。
  • 或者,您可以提交作业,在从设备农场分配的 真实设备上(使用 Python API)对优化后的模型进行分析或 运行推理。
    • 分析(Profiling):在已分配的设备上对模型进行基准测试, 并提供统计数据,包括每层级的平均推理时间、 运行时配置等。
    • 推理(Inference):在已分配的设备上运行模型, 使用作为推理作业一部分提交的数据, 通过优化后的模型执行推理。
4

查看作业并下载优化后的模型

提交的每个作业都可以在 AI Hub 门户中查看。已完成的编译作业会提供可下载的优化模型链接,之后即可将其部署到本地开发设备上,例如 Qualcomm Dragonwing™ RB3 Gen 2。
以下示例摘自 AI Hub 文档,将预训练的 MobileNet V2 模型从 PyTorch 上传到 AI Hub,并将其编译为适用于 Qualcomm Dragonwing™ RB3 Gen 2 的优化 LiteRT 模型。
要停用之前激活的 qai_hub 环境,请使用以下命令。
模型下载完成后,即可部署。有关后续步骤,请参阅运行推理。 有关 AI Hub 工作流和 API 的更多详细信息,请参阅 AI Hub 文档, 浏览 AI Hub 教程视频, 或观看以下有关如何在 AI Hub 中分析模型的视频。