使用 sample_resnet101 对图像进行分类 - Qualcomm Dragonwing Documentation

下图展示了图像分类结果的示例。

Live camera view of sunglasses with a pink label and a terminal window echoing the classification result on the /resnet101_output topic. — 图像分类结果。

ResNet101 是一个可以对 ImageNet 数据集图像进行分类的机器学习模型。它也可以作为构建针对特定用例的更复杂模型的基础网络。

图像分类管线流程

下图展示了图像分类示例应用的管线流程。

Image classification pipeline running from camera capture and image publishing through preprocessing, inference, and postprocessing to labeled output. — 图像分类管线。

图像分类管线中使用的 ROS 节点

下表列出了图像分类管线中使用的 ROS 节点。

节点名	说明
qrb ros camera	Qualcomm ROS 2 包，按参数采集图像并将其发布到 ROS topic。
Image publisher	将图像数据发布到 ROS topic——可以是摄像头帧、本地文件或处理后的输出。
Image classification preprocess	订阅图像数据，对其进行重塑与缩放，然后重新发布到下游 topic。
qrb ros nn interface	加载已训练的 AI 模型，接收预处理后的图像，执行推理，并发布结果。
Image classification postprocess	通过将预测索引映射到相应标签，将原始推理输出转换为人类可读的结果。

图像分类管线中使用的 ROS topic

下表列出了图像分类管线中使用的 ROS topic。

ROS topic	类型	说明
`/image_raw`	`<sensor_msgs.msg.Image>`	发布图像信息。
`/qrb_inference_input_tensor`	`<qrb_ros_tensor_list_msgs.msg.TensorList>`	预处理消息。
`/qrb_inference_output_tensor`	`<qrb_ros_tensor_list_msgs.msg.TensorList>`	这是使用模型的 nn interface 结果。
`/resnet101_results`	`<sensor_msgs.msg.String>`	这是模型输出标签。

前提条件

您已根据安装 QIR SDK 在设备上完成设备设置、安装 ROS2 Jazzy 和 Qualcomm Intelligent Robotics (QIR) SDK。

运行开箱即用的图像分类

安装图像分类软件包

Install the packages

sudo apt install ros-jazzy-sample-resnet101

在设备上设置示例环境

Launch the sample application

source /opt/ros/jazzy/setup.bash
ros2 launch sample_resnet101 launch_with_image_publisher.py
or # You can also replace this with a custom image file
ros2 launch sample_resnet101 launch_with_image_publisher.py image_path:=<your image path>
or # You can launch with qrb ros camera
ros2 launch sample_resnet101 launch_with_qrb_ros_camera.py

launch_with_image_publisher.py 启动脚本使用以下默认参数：

DeclareLaunchArgument(
'image_path',
default_value=os.path.join(package_path, 'glasses.jpg'),
description='Path to the image file'
)
# Node for image_publisher
image_publisher_node = Node(
package='image_publisher',
executable='image_publisher_node',
namespace=namespace,
name='image_publisher_node',
output='screen',
parameters=[
{'filename': image_path},
{'rate': 10.0},  # Set the publishing rate to 10 Hz
]
)

a. 它发送 local glasses.jpg 文件，并以 10 Hz 的频率输出图像。b. 然后，您可以在另一个 shell 终端中使用 name/resnet101_output 检查 ROS topic。

ros2 topic echo /resnet101_output

Output

data: 'sunglass

从源代码构建图像分类

当您需要修改示例代码时，可以从源代码构建图像分类示例。设备端步骤包括安装依赖项、克隆源代码仓库并构建软件包。

设备端步骤

安装依赖项

Install the dependencies

sudo apt install ros-jazzy-rclpy \
ros-jazzy-sensor-msgs \
ros-jazzy-std-msgs \
ros-jazzy-cv-bridge \
ros-jazzy-ament-index-python \
ros-jazzy-qrb-ros-tensor-list-msgs \
python3-opencv \
python3-numpy \
ros-jazzy-image-publisher \
ros-jazzy-qrb-ros-nn-inference \
ros-jazzy-qrb-ros-camera \
ros-jazzy-image-publisher

从 qrb_ros_samples 仓库下载源代码

mkdir -p ~/qrb_ros_ws/src && cd ~/qrb_ros_ws/src
git clone https://github.com/qualcomm-qrb-ros/qrb_ros_samples.git

从源代码构建 object_detection 示例应用

Build the sample application

cd ~/qrb_ros_ws/src/qrb_ros_samples/ai_vision/sample_resnet101
colcon build
source install/setup.bash

运行并测试示例应用

根据运行开箱即用的图像分类的第 2 步运行并测试。

​图像分类管线流程

​图像分类管线中使用的 ROS 节点

​图像分类管线中使用的 ROS topic

​前提条件

​运行开箱即用的图像分类

​从源代码构建图像分类

​设备端步骤