使用 qrb_ros_nn_inference 实现模型推理 - Qualcomm Dragonwing Documentation

qrb_ros_nn_inference 包为机器人应用提供基于 AI 的感知能力。它提供以下功能：

支持 .tflite、.so、.bin 三种模型格式的模型推理 API
基于 Qualcomm 平台的模型推理加速

`qrb_ros_nn_inference` 的架构

下图展示了 qrb_ros_nn_interface 的架构。

Layered stack: application, qrb_ros_nn_inference node, QrbInferenceManager, QNN and TFLite SDKs, running on CPU, GPU, and Hexagon Tensor Processor. — qrb_ros_nn_inference 的架构。

qrb_ros_nn_inference 是基于 qrb_inference_manager 的 ROS2 包，后者是一个封装了 Qualcomm AI Engine Direct 和 Qualcomm Neural Network (QNN) Delegate for TensorFlow Lite API 的 C++ 库。 qrb_ros_nn_inference 从特定话题接收数据，然后不做任何处理直接使用接收到的数据进行模型推理。随后，模型推理的结果会通过另一个特定话题直接发送出去。

ROS 节点参数

下表描述了 qrb_ros_nn_inference 的 ROS 节点参数。

参数	类型	默认值	说明
`backend_option`	`String`	`""`	关于模型推理的硬件加速选项和有效值，请参阅 qrb_inference_manager documentation。
`model_path`	`String`	`""`	模型文件路径。

ROS 话题

下表描述了 qrb_ros_nn_inference 使用的 ROS 话题。

话题名	消息类型	说明
`qrb_inference_input_tensor`	`TensorList`	订阅的话题
`qrb_inference_output_tensor`	`TensorList`	发布的话题

前提条件

你已根据安装 QIR SDK完成设备设置，并在设备上安装了 ROS2 Jazzy 和 Qualcomm Intelligent Robotics (QIR) SDK。

开箱即用运行 `qrb_ros_nn_inference`

安装 qrb_ros_transport 包

Install the packages

sudo apt install ros-jazzy-qrb-ros-nn-inference

为模型推理准备预处理节点和后处理节点

Download the test nodes

# qrb_ros_nn_inference/test includes the pre-process node and post-process node
mkdir -p ~/ros-ws/src && cd ~/ros-ws/src && \
git clone https://github.com/qualcomm-qrb-ros/qrb_ros_nn_inference && \

使用 YOLOv8 检测模型测试 qrb_ros_nn_inference

a. 按照 QC AI hub Getting Started 下载 yolov8.tflite 模型。b. 下载用于目标检测的测试图像。

wget -P ~/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_pre_process/image/ \
https://ultralytics.com/images/bus.jpg && \
python3 ~/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_post_process/scripts/yolov8_input_pre_process.py

c. 在 ~/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_post_process/launch/nn_node_test.launch.py 中指出原始图像路径和模型路径。

nn_node_test.launch.py

pre_process_node = ComposableNode(
   package = "qrb_ros_pre_process",
   plugin = "qrb_ros::pre_process::QrbRosPreProcessNode",
   name = "pre_process_node",
   parameters=[
     {
       "image_path": os.environ['HOME'] + "/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_pre_process/image/bus.raw"
     }
   ]
)
nn_inference_node = ComposableNode(
   package = "qrb_ros_nn_inference",
   plugin = "qrb_ros::nn_inference::QrbRosInferenceNode",
   name = "nn_inference_node",
   parameters=[
     {
       "backend_option": "",
       "model_path": "/path/to/model"
     }
   ]
)

d. 构建预处理节点和后处理节点。

Build and run the inference

source /opt/ros/jazzy/setup.bash && \
  cd ~/ros-ws && \
  rm ./src/qrb_ros_nn_inference/test/qrb_ros_post_process/COLCON_IGNORE && \
  rm ./src/qrb_ros_nn_inference/test/qrb_ros_pre_process/COLCON_IGNORE && \
colcon build --packages-select qrb_ros_pre_process qrb_ros_post_process
execute the inference
  cd ~/ros-ws && \
source install/local_setup.bash && \
ros2 launch qrb_ros_post_process nn_node_test.launch.py
visualize the detection result
python3 ~/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_post_process/scripts/qrb_ros_yolo_detection_visualizer.py \
  --original_image ~/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_pre_process/image/bus.jpg

输出结果图像位于 ~/ros-ws/src/qrb_ros_nn_inference/test/qrb_ros_post_process/inference_result 中。

构建并运行 `qrb_ros_nn_inference`

安装依赖

Install the dependencies

sudo apt install -y software-properties-common colcon
sudo apt install -y libtensorflow-lite-c-qcom1 libtensorflow-lite-qcom-dev libqnn-dev libqnn1

将仓库克隆到设备上

Download the source code

mkdir -p ~/qrb_ros_ws/src
cd ~/qrb_ros_ws/src
git clone https://github.com/qualcomm-qrb-ros/qrb_ros_nn_inference
git clone https://github.com/qualcomm-qrb-ros/qrb_ros_interfaces

构建并运行 qrb_ros_nn_inference

Build and launch

cd ~/qrb_ros_ws
colcon build --packages-up-to qrb_ros_nn_inference
source install/setup.bash
ros2 launch qrb_ros_post_process nn_node_test.launch.py

​qrb_ros_nn_inference 的架构

​ROS 节点参数

​ROS 话题

​前提条件

​开箱即用运行 qrb_ros_nn_inference

​构建并运行 qrb_ros_nn_inference