端到端示例

​

前提条件

• 有关更多信息，请参阅场景页面上的评估标签页。
• 主机和设备可以使用 ping 命令在网络上相互访问。
• 主机和设备上都提供 ROS 2 Jazzy，且 ROS_DOMAIN_ID 一致。
• 设备运行 qcom-robotics-proprietary-image（Qualcomm Linux）或 qirp-sdk 或 qirp-sdk-desktop（Ubuntu）。

​

运行 AI 示例

• 图像分类
• 手部检测

端到端运行 sample_resnet101，通过 Qualcomm® AI Engine Direct SDK (QNN) 使用 ResNet-101 模型对捆绑图像进行分类。

​

管线图

下图展示了管线中的 ROS 2 节点和话题。

​

运行示例

按照操作系统标签页操作。两种路径均使用内置的图像发布器启动，默认以 10 Hz 发布 glasses.jpg。

• Qualcomm Linux
• Ubuntu

1

在设备上加载运行时环境

通过 SSH 连接到设备：

source /usr/share/qirp-setup.sh -m
export ROS_DOMAIN_ID=123

2

使用图像发布器启动示例

ros2 launch sample_resnet101 launch_with_image_publisher.py

3

输出分类话题内容

在第二个 SSH 会话中：

ros2 topic echo /resnet101_output

1

安装示例软件包

sudo apt install ros-jazzy-sample-resnet101

2

在设备上设置环境

source /opt/ros/jazzy/setup.bash
export ROS_DOMAIN_ID=123

3

使用图像发布器启动示例

ros2 launch sample_resnet101 launch_with_image_publisher.py

4

输出分类话题内容

ros2 topic echo /resnet101_output

​

预期结果

以下输出显示 /resnet101_output 上稳定的分类流。

data: 'sunglass'
---
data: 'sunglass'
---
data: 'sunglass'

在启动命令中传入 image_path:=<your image path> 可更改输入图像；标签会相应更新。

端到端运行 sample_hand_detection，通过 QNN 使用 MediaPipe Hand Landmark Detector 检测手掌和手部关键点。这个两阶段管线先执行手掌检测，再执行关键点回归，然后在源帧上进行标注。

​

管线图

下图展示了两阶段管线中的 ROS 2 节点和话题。

​

运行示例

按照操作系统标签页操作。两种路径均使用内置的图像发布器启动，因此无需摄像头。

• Qualcomm Linux
• Ubuntu

1

在设备上加载运行时环境

通过 SSH 连接到设备：

source /usr/share/qirp-setup.sh -m
export ROS_DOMAIN_ID=123
export PYTHONPATH=$PYTHONPATH:/opt/ros/jazzy/lib/python3.14/site-packages/sample_hand_detection

2

使用图像发布器启动示例

ros2 launch sample_hand_detection launch_with_image_publisher.py model_path:=/opt/model/

3

在主机上查看带标注的帧

在主机终端中：

export DISPLAY=YOUR_HOST_IP:0
export ROS_DOMAIN_ID=123
rqt

在 rqt 中，选择 Plugins → Visualization → Image View，然后选择 /handlandmark_result。

1

安装示例软件包

sudo apt install ros-jazzy-sample-hand-detection

2

在设备上设置环境

source /opt/ros/jazzy/setup.bash
export ROS_DOMAIN_ID=123

3

使用图像发布器启动示例

ros2 launch sample_hand_detection launch_with_image_publisher.py

4

在主机上查看带标注的帧

在主机上打开 rqt，选择 Plugins → Visualization → Image View，然后选择 /handlandmark_result。

​

预期结果

下图显示当发布一张完全张开手掌的图像时，带有手掌边界框和 21 个关键点标记的标注帧。

​

后续步骤

• QIR SDK 用户指南（Qualcomm Linux） — 面向运行 Qualcomm Linux 软件的 Qualcomm Dragonwing 设备的完整 QIR SDK 用户指南，包括 SDK 概述、安装、镜像变体、交叉编译工具链、overlay 机制、迁移指南和故障排除。
• QIR SDK 用户指南（Ubuntu） — 面向运行 Ubuntu 的 Qualcomm Dragonwing 设备的完整 QIR SDK 用户指南，包括软件架构、安装和示例应用。
• 试用更多示例应用
  QIR SDK 示例应用 (Linux)

  示例

  QIR SDK 示例应用 (Ubuntu)

  示例