模型移植最佳实践 - Qualcomm Dragonwing Documentation

使用 QAIRT SDK 导出自定义 YOLOv8 模型

前提条件

在装有 Python >= 3.10 和 PyTorch >=1.8 的主机上安装 Qualcomm AI Runtime SDK。有关更多详细信息,请参阅安装 Qualcomm AI Runtime SDK。在主机上运行以下命令。

激活您的虚拟环境

source <venv_path>/bin/activate

安装 Ultralytics 软件包并导出 ONNX 模型

pip install ultralytics

yolo export model=yolov8s.pt imgsz=320 format=onnx opset=11 optimize=True simplify=true

步骤

将 ONNX 模型转换为 DLC

snpe-onnx-to-dlc -i yolov8s.onnx

生成量化 DLC

准备校准数据集

收集 5-10 张训练时使用的图像,并将这些图像保存到输入目录

使用 preprocess.py 脚本将 .jpg 图像转换为量化所需的 RAW 文件

在本示例中,模型使用 320x320 的输入尺寸。

下载脚本

wget https://raw.githubusercontent.com/qualcomm/sample-apps-for-qualcomm-linux/refs/heads/main/qualcomm-linux/scripts/preprocess.py

使用以下选项运行脚本

python preprocess.py <INPUT PATH> <OUTPUT PATH> 1 0

<INPUT PATH>:包含原始图像的文件夹
<OUTPUT PATH>:用于生成 RAW 文件的文件夹

创建一个 input.txt 文件,其中包含所有已生成 RAW 文件的路径

量化过程需要此文件。

量化模型

使用 snpe-dlc-quantize 将模型转换为量化 DLC。

snpe-dlc-quantize --input_dlc yolov8s.dlc --input_list input.txt

运行演示

下载标签文件

请参阅下载模型和标签文件。

在主机上,设置用户环境变量

export USER=ubuntu

将测试视频文件推送到设备的 /etc/media

scp <video file> $USER@<IP address of target device>:/home/ubuntu/
ssh ubuntu<ip-address>
cp /home/ubuntu/<video file> /etc/media/
exit

将量化后的 YoloV8 模型推送到设备

scp <model file> $USER@<IP_ADDRESS_OF_TARGET_DEVICE>:/home/ubuntu/
ssh ubuntu<ip-address>
cp /home/ubuntu/<model file> /etc/models/
exit

获取模型的输出张量,例如 output0

使用 SSH 登录设备

ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>

在新 shell 中,运行以下命令

gst-launch-1.0 -e filesrc location=<video file path> ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split split. ! queue ! qtivcomposer name=mixer ! queue ! waylandsink fullscreen=true sync=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=<model file path> tensors="<output0>" ! queue ! qtimlpostprocess settings="{\"confidence\": 51.0}" results=10 module=yolov8 labels=<label file path> ! video/x-raw,width=640,height=360 ! queue ! mixer.

将以下占位符替换为相应的文件路径:
<video file path>:输入视频文件的路径
<model file path>:YOLOv8 DLC 模型文件的路径
<label file path>:YOLOv8 标签文件的路径

例如:

gst-launch-1.0 -e filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split split. ! queue ! qtivcomposer name=mixer ! queue ! waylandsink fullscreen=true sync=true split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/etc/models/yolov8s_quantized.dlc tensors="<output0>" ! queue ! qtimlpostprocess settings="{\"confidence\": 51.0}" results=10 module=yolov8 labels=/etc/labels/yolov8.json ! video/x-raw,width=640,height=360 ! queue ! mixer.

​使用 QAIRT SDK 导出自定义 YOLOv8 模型

​前提条件

​步骤

​运行演示

使用 QAIRT SDK 导出自定义 YOLOv8 模型

前提条件

步骤

运行演示