使用 qrb_ros_nn_inference 执行 AI 模型推理

qrb_ros_nn_inference 是一个用于执行神经网络模型的 ROS2 软件包，为机器人应用提供基于 AI 的感知能力。 它提供以下功能：

• 支持三种模型格式的模型推理 API：
  • .tflite
  • .so
  • .bin
• 基于 Qualcomm 平台的模型推理加速

​

qrb_ros_nn_inference 的管线流程

图：qrb_ros_nn_inference 的管线

​

qrb_ros_nn_inference 管线中使用的 ROS 话题

ROS 话题	消息类型	发布/订阅者	说明
/qrb_inference_input_tensor	qrb_ros_tensor_list_msgs::msg::TensorList	由 qrb_ros_nn_inference 订阅	订阅用于模型推理的输入张量。
/qrb_inference_output_tensor	qrb_ros_tensor_list_msgs::msg::TensorList	由 qrb_ros_nn_inference 发布	发布模型的输出张量。

​

qrb_ros_nn_inference 管线中使用的 ROS 节点参数

节点参数	类型	默认值	说明
backend_option	string	""	模型推理的硬件加速选项。有效值请参阅 qrb_ros_nn_inference 文档。
model_path	string	""	表示模型文件的路径。

​

前提条件

• 您已根据为运行示例应用设置环境完成了设置设备。
• 您已从 Qualcomm AI hub 下载模型。
• 您已根据 qrb_ros_nn_inference 示例准备好预处理节点和后处理节点。

​

运行开箱即用的 qrb_ros_nn_inference

1. 启动一个终端，并运行以下命令在设备上设置 QIR SDK 和 ROS2 环境。 ROS_DOMAIN_ID 的取值范围：[0, 232]
   ssh root@[ip-addr]
   (ssh) source /usr/share/qirp-setup.sh
   (ssh) export ROS_DOMAIN_ID=xx
   
2. 启动三个节点：预处理节点、qrb_ros_nn_inference 节点和后处理节点。
   (ssh) ros2 launch model_inference.launch.py
   

​

构建并运行 qrb_ros_nn_inference

1. 在主机上构建 QIR SDK 提供的 qrb_ros_nn_inference。
   cd <qirp_decompressed_workspace>
   source setup.sh
   cd qirp-samples/platform/qrb_ros_nn_inference
   colcon build --merge-install --cmake-args ${CMAKE_ARGS}
   
2. 将 qrb_ros_nn_inference 推送到设备。
   注意确保设备上已安装 QIR SDK。
   cd qirp-samples/platform/qrb_ros_nn_inference/install
   tar czvf qrb_ros_nn_inference.tar.gz include lib share
   scp qrb_ros_nn_inference.tar.gz root@[ip-addr]:/opt/
   ssh root@[ip-addr]
   (ssh) tar --no-overwrite-dir --no-same-owner -zxf /opt/qrb_ros_nn_inference.tar.gz -C /usr/ros/jazzy/
   
3. 启动一个终端，并运行以下命令在设备上设置 QIR SDK 和 ROS2 环境。 ROS_DOMAIN_ID 的取值范围：[0, 232]
   ssh root@[ip-addr]
   (ssh) source /usr/share/qirp-setup.sh
   (ssh) export ROS_DOMAIN_ID=xx
   
4. 启动三个节点：预处理节点、qrb_ros_nn_inference 节点和后处理节点。
   (ssh) ros2 launch model_inference.launch.py
   

​

限制

有关最新的限制，请参阅 GitHub 上的 qrb_ros_nn_inference。