使用 sample_object_detection 检测目标 - Qualcomm Dragonwing Documentation

Ultralytics YOLOv8 是一个可以预测图像中目标边界框、分割掩膜和类别的机器学习模型。

`sample_object_detection` 的管线流程

下图展示了 sample_object_detection 的管线流程。

Object detection pipeline from camera capture through YOLO preprocessing, inference, postprocessing, and overlay to the detection result topic. — sample_object_detection 的管线流程。

`sample_object_detection` 管线中使用的 ROS 节点

下表列出了 sample_object_detection 管线中使用的 ROS 节点。

节点名	说明
qrb ros camera	Qualcomm ROS 2 包，按参数采集图像并将其发布到 ROS topic。
yolo preprocess	订阅图像数据，对其进行重塑与缩放，然后重新发布到下游 topic。
qrb ros nn interface	加载已训练的 AI 模型，接收预处理后的图像，执行推理，并发布结果。
yolo postprocess	将推理输出与 yolo 标签文件进行匹配。
yolo overlay	订阅 yolo postprocess 和图像数据，通过 ROS topic 显示目标检测结果。

`sample_object_detection` 管线中使用的 ROS topic

下表列出了 sample_object_detection 管线中使用的 ROS topic。

ROS topic	类型	发布者
`/camera/color/image_raw`	`<sensor_msgs.msg.Image>`	`qrb_ros_camera`
`/qrb_inference_input_tensor`	`<qrb_ros_tensor_list_msgs.msg.TensorList>`	`yolo_preprocess_node`
`/yolo_detect_result`	`<vision_msgs.msg.Detection2DArray>`	`nn_inference_node`
`/yolo_detect_tensor_output`	`<qrb_ros_tensor_list_msgs.msg.TensorList>`	`yolo_detection_postprocess_node`
`/yolo_detect_overlay`	`<sensor_msgs.msg.Image>`	`yolo_detection_overlay_node`

前提条件

您已根据安装 QIR SDK 在设备上完成设备设置、安装 ROS2 Jazzy 和 Qualcomm Intelligent Robotics (QIR) SDK。
在主机上，您已根据 qrb_ros_tensor_process 的 README 中的步骤下载并构建了 yolo 模型。
下载 yolo 模型时，使用如下 target-runtime 和 device：

生成 YOLOv8 模型

在主机上设置 QAI-Hub。

a. 登录 QAI-Hub 并获取您的 API token。b. 在主机上安装 QAI-Hub。

 ## It is recommended to use python venv to avoid impacting the host environment.
 python3 -m venv venv_qaihub
 source venv_qaihub/bin/activate

 ## Install QAI-Hub related python packages.
 pip3 install qai-hub

 ## Configure QAI-Hub token, replacing xxx with your own token got from QAI-Hub page.
 qai-hub configure --api_token xxx

 pip3 install "qai-hub-models[yolov8-det]"

在主机上导出模型。

执行以下命令后，模型文件和 coco8.yaml 将在主机上生成。

python -m qai_hub_models.models.yolov8_det.export --target-runtime "qnn_context_binary" --chipset "qualcomm-qcs9075" --skip-profiling --skip-inferencing

# Push model files to the device's default path according to the preceding export log.

# On the device, create the path if it doesn't exist.
mkdir /opt/model


# On the host computer, scp all model files to the device.
scp <Host_Export_model_Path>/yolov8_det.bin ubuntu@<device_ip>:/opt/model

sudo find / -name "coco8.yaml" -print -quit
scp <label-file-path>/coco8.yaml ubuntu@<device_ip>:/opt/

python -m qai_hub_models.models.yolov8_det.export --target-runtime "qnn_context_binary" --chipset "qualcomm-qcs8275" --skip-profiling --skip-inferencing

# Push model files to the device's default path according to the preceding export log.

# On the device, create the path if it doesn't exist.
mkdir /opt/model

# On the host computer, scp all model files to the device.
scp <Host_Export_model_Path>/yolov8_det.bin ubuntu@<device_ip>:/opt/model

sudo find / -name "coco8.yaml" -print -quit
scp <label-file-path>/coco8.yaml ubuntu@<device_ip>:/opt/        

运行开箱即用的 `sample_object_detection`

在设备上，运行示例应用：

Run the sample application

source /opt/ros/jazzy/setup.bash
ros2 launch sample_object_detection launch_with_qrb_ros_camera.py model:=/opt/model/yolov8_det.bin

然后，您可以在 rviz2 中查看名为 /yolo_detect_overlay 的 ROS topic。

从 `sample_object_detection` 的源代码构建

请先运行前提条件，然后再执行以下步骤。

在设备上，运行示例应用：

从 qrb_ros_samples 仓库下载源代码

Download the source code

mkdir -p ~/qrb_ros_ws/src && cd ~/qrb_ros_ws/src
git clone https://github.com/qualcomm-qrb-ros/qrb_ros_samples.git

从源代码构建 sample_object_detection 示例应用

Build the sample application

cd ~/qrb_ros_ws/src/qrb_ros_samples/ai_vision/sample_object_detection
colcon build
source install/setup.bash

运行并测试示例应用

根据运行开箱即用的 sample_object_detection 的第 2–3 步运行并测试。

​sample_object_detection 的管线流程

​sample_object_detection 管线中使用的 ROS 节点

​sample_object_detection 管线中使用的 ROS topic

​前提条件

​生成 YOLOv8 模型

​运行开箱即用的 sample_object_detection

​从 sample_object_detection 的源代码构建

`sample_object_detection` 的管线流程

`sample_object_detection` 管线中使用的 ROS 节点

`sample_object_detection` 管线中使用的 ROS topic

前提条件

生成 YOLOv8 模型

运行开箱即用的 `sample_object_detection`

从 `sample_object_detection` 的源代码构建