设置您的环境
1
设置 Python 环境
2
安装 git
3
安装 AI Hub Python 客户端
4
登录 AI Hub
访问 AI Hub,使用您的
Qualcomm ID 登录,以查看您创建的作业相关信息。登录后,前往 Account > Settings > API Token 获取用于配置客户端的 API 令牌。
5
使用 API 令牌配置客户端
选择 AI Hub 工作流
尝试预优化模型
1
浏览 AI Hub Model Zoo
访问 AI Hub Model Zoo,获取适用于 Qualcomm 评估套件的预优化模型。
2
按 EVK 筛选模型
在左侧窗格中选择匹配的芯片组。例如,
为 Qualcomm Dragonwing™ RB3 Gen 2 选择 Qualcomm QCS6490。
3
选择模型
从筛选后的视图中选择模型以进入模型页面。
4
选择运行时和精度
在模型页面上,选择运行时和精度。
5
下载模型
选择 Download 下载模型。下载的模型已预优化,可用于部署。有关更多信息,请参阅运行推理。
自带模型
1
选择预训练模型
选择 PyTorch 或 ONNX 格式的预训练模型。
2
提交模型以进行编译或优化
使用 Python API 向 AI Hub 提交模型以进行编译或优化。提交编译作业时,为您的 EVK 选择设备或芯片组以及目标运行时。对于 Qualcomm Dragonwing™ RB3 Gen 2,支持 LiteRT 运行时。
提交后,AI Hub 会为该作业生成一个唯一 ID。您可以
使用此作业 ID 查看作业详细信息。
3
AI Hub 优化模型
AI Hub 会根据您选择的设备和运行时对模型进行优化。
-
或者,您可以提交作业,在从设备农场分配的
真实设备上(使用 Python API)对优化后的模型进行分析或
运行推理。
- 分析(Profiling):在已分配的设备上对模型进行基准测试, 并提供统计数据,包括每层级的平均推理时间、 运行时配置等。
- 推理(Inference):在已分配的设备上运行模型, 使用作为推理作业一部分提交的数据, 通过优化后的模型执行推理。
4
查看作业并下载优化后的模型
提交的每个作业都可以在 AI Hub 门户中查看。已完成的编译作业会提供可下载的优化模型链接,之后即可将其部署到本地开发设备上,例如 Qualcomm Dragonwing™ RB3 Gen 2。
要停用之前激活的
qai_hub 环境,请使用以下命令。
