使用 sample_hrnet_pose_estimation 估计人体姿态

sample_hrnet_pose_estimation 示例应用使用 ROS 2 节点提供高精度的人体姿态估计。它使用 Qualcomm® AI Engine Direct SDK (QNN) 进行模型推理。它处理输入图像并发布以下 ROS 2 topic：

/pose_estimation_results：带有可视化姿态关键点的输出图像。
/pose_estimation_points：以结构化消息格式表示的原始关键点坐标。

注意

有关模型信息，请参见 HRNetPose - Qualcomm AI Hub。
有关更多信息，请参见 GitHub 上的 sample_hrnet_pose_estimation。

图：sample_hrnet_pose_estimation 的示例效果

`sample_hrnet_pose_estimation` 的流水线流程

图：sample_hrnet_pose_estimation 的流水线流程

`sample_hrnet_pose_estimation` 中使用的 ROS 节点

ROS 节点	说明
qrb_ros_camera	Qualcomm ROS 2 包，使用参数捕获图像并将其发布到 ROS topic。
qrb_ros_nn_inference	加载训练好的 AI 模型，接收预处理后的图像，执行推理并发布结果。
image_publisher	ROS 2 Jazzy 包，使用本地路径发布图像 ROS topic。
`hrnet_pose_estimation_node`	从 `/image_raw` 订阅图像输入，执行姿态估计，并将结果发布到 `/pose_estimation_results` 和 `/pose_estimation_points`。

`sample_hrnet_pose_estimation` 中使用的 ROS topic

ROS topic	类型	发布者
`/image_raw`	`sensor_msgs.msg.Image`	`qrb_ros_camera`
`/qrb_inference_input_tensor`	`qrb_ros_tensor_list_msgs.msg.TensorList`	`hrnet_pose_estimation_node`
`/qrb_inference_output_tensor`	`qrb_ros_tensor_list_msgs.msg.TensorList`	`qrb_ros_nn_inference`
`/pose_estimation_results`	`sensor_msgs.msg.Image`	`hrnet_pose_estimation_node`
`/pose_estimation_points`	`geometry_msgs.msg.PolygonStamped`	`hrnet_pose_estimation_node`

注意/pose_estimation_points 包含原始图像上 17 个关键点的坐标。开发者可以订阅此 topic 进行二次开发。关键点包括：鼻子、左眼和右眼。具体对应关系如下：

ID	身体部位	ID	身体部位
1	鼻子	10	右手腕
2	右眼	11	左手腕
3	左眼	12	右髋
4	右耳	13	左髋
5	左耳	14	右膝
6	右肩	15	左膝
7	左肩	16	右踝
8	右肘	17	左踝
9	左肘

前提条件

你已完成设置运行示例应用的环境中的设置。

开箱即用运行 `sample_hrnet_pose_estimation`

试一试

在开发套件上运行示例

SSH Session

# Set up the runtime environment
source /usr/share/qirp-setup.sh -m
# Set the ROS_DOMAIN_ID
export ROS_DOMAIN_ID=123
# Launch the sample with an image publisher. You can replace 'image_path' with the path to your desired image.
ros2 launch sample_hrnet_pose_estimation launch_with_image_publisher.py image_path:=/usr/ros/jazzy/share/sample_hrnet_pose_estimation/input_image.jpg
# Launch the sample hrnet pose estimation node with qrb_ros_camera ros node.
ros2 launch sample_hrnet_pose_estimation launch_with_qrb_ros_camera.py

在主机计算机上查看结果

启动 rqt。

SSH Session

# YOUR_HOST_IP is the IP address of the Host where you want to view the sample output.
export DISPLAY=YOUR_HOST_IP:0
export ROS_DOMAIN_ID=123
rqt

依次选择以下按钮： Plugins —> Visualization —> Image View
选择 pose_estimation_results 以查看结果。

打开一个新终端并运行以下命令以查看 /pose_estimation_points topic。

SSH Session

source /usr/share/qirp-setup.sh -m
export ROS_DOMAIN_ID=123
ros2 topic echo /pose_estimation_points

构建并运行 `sample_hrnet_pose_estimation`

以下步骤以 Dragonwing IQ-9075 Evaluation Kit 为例构建 sample_hrnet_pose_estimation 包。

试一试

在主机计算机上构建并打包

构建示例应用项目。

cd <decompressed_workspace>/images/iq-9075-evk/qirpsdk_artifacts/iq-9075-evk/
tar -zxvf qirp-sdk_<qirp_version>.tar.gz
cd qirp-sdk
source setup.sh
# build sample
cd <qirp_decompressed_path>/qirp-samples/ai_vision/sample_hrnet_pose_estimation
colcon build

打包并将示例应用推送到设备。

# package and push build result of sample
cd <qirp_decompressed_path>/qirp-samples/ai_vision/sample_hrnet_pose_estimation/install/sample_hrnet_pose_estimation
tar -czvf sample_hrnet_pose_estimation.tar.gz lib share
scp sample_hrnet_pose_estimation.tar.gz root@[ip-addr]:/opt/

在开发套件上安装并运行

安装示例应用。

SSH Session

# Install sample package
tar --no-overwrite-dir --no-same-owner -zxf /opt/sample_hrnet_pose_estimation.tar.gz -C /usr/ros/jazzy/

按照开箱即用运行 sample_hrnet_pose_estimation 中的步骤运行示例应用。

​sample_hrnet_pose_estimation 的流水线流程

​sample_hrnet_pose_estimation 中使用的 ROS 节点

​sample_hrnet_pose_estimation 中使用的 ROS topic

​前提条件

​开箱即用运行 sample_hrnet_pose_estimation

​构建并运行 sample_hrnet_pose_estimation

`sample_hrnet_pose_estimation` 的流水线流程

`sample_hrnet_pose_estimation` 中使用的 ROS 节点

`sample_hrnet_pose_estimation` 中使用的 ROS topic

前提条件

开箱即用运行 `sample_hrnet_pose_estimation`

构建并运行 `sample_hrnet_pose_estimation`