使用自定义训练模型运行示例应用 - Qualcomm Dragonwing Documentation

本指南说明如何修改现有的 Qualcomm IM SDK 参考应用,使其与自定义训练的模型一起工作。本文以自定义训练的 YOLOv8 模型为例。

使用自定义训练的 YOLOv8 LiteRT 模型

Qualcomm IM SDK 参考应用使用 YOLOv8 模型进行对象检测。此示例说明如何在当前的参考应用中运行自定义训练的 YOLOv8 变体。要运行您自己的自定义训练 YOLOv8 模型,请完成以下步骤:

在参考应用中,用您的新模型替换现有模型。
使用您的自定义标签更新标签文件。
使用更新后的模型运行参考应用。

更新标签文件

Qualcomm IM SDK 参考应用期望标签为 JSON 格式。请更新标签文件 yolov8_custom.json 中每个条目的 id、color 和 label 值。每个标签条目的格式为:

[
  {"id": 0, "color": "0x00FF00FF", "label": "person"}
]

例如:

[
  {"id": 0, "color": "0x00FF00FF", "label": "person"},
  {"id": 1, "color": "0x00FF00FF", "label": "bicycle"},
  {"id": 2, "color": "0x0000FFFF", "label": "car"},
  {"id": 3, "color": "0x00FF00FF", "label": "motorcycle"}
]

使用自定义模型运行对象检测

要使用 LiteRT 运行时结合您的自定义模型和标签文件运行对象检测,请完成以下步骤:

在主机上设置用户环境变量

export USER=ubuntu

将模型复制到设备

scp yolov8_custom.tflite $USER@<IP_ADDRESS_OF_TARGET_DEVICE>:/home/ubuntu/
ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>
cp /home/ubuntu/yolov8_custom.tflite /etc/models/ 
exit

将标签文件复制到设备

scp yolov8_custom.json $USER@<IP_ADDRESS_OF_TARGET_DEVICE>:/home/ubuntu/
ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>
cp /home/ubuntu/yolov8_custom.json /etc/labels/
exit

使用 SSH 登录设备

ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>

编辑 config_detection.json 配置文件

{
  "file-path": "/etc/media/video.mp4",
  "ml-framework": "tflite",
  "yolo-model-type": "yolov8",
  "model": "/etc/models/yolov8_custom.tflite",
  "labels": "/etc/labels/yolov8_custom.json",
  "threshold": 40,
  "runtime": "dsp"
}

运行示例应用

gst-ai-object-detection --config-file=/etc/configs/config_detection.json

注意事项

要显示所有可用选项,请运行:
gst-ai-object-detection -h
要停止应用,请按 Ctrl+C。

​使用自定义训练的 YOLOv8 LiteRT 模型

​更新标签文件

​使用自定义模型运行对象检测

​注意事项

使用自定义训练的 YOLOv8 LiteRT 模型

更新标签文件

使用自定义模型运行对象检测

注意事项