使用 sample-depth-estimation 估计图像深度值 - Qualcomm Dragonwing Documentation

sample_depth_estimation 示例应用使用 ROS 2 节点从 RGB 图像估计每像素深度图。它使用 Qualcomm® AI Engine Direct SDK (QNN) 进行设备端模型推理。 sample_depth_estimation 接受一张名为 input_image.jpg 的 RGB 图像作为输入，或订阅来自 qrb_ros_camera 节点的 /sample_container/cam0_stream1 topic。它将深度估计结果作为每像素深度图发布到 /sample_container/depth_map topic。

注意

有关更多信息，请参见 sample_depth_estimation GitHub 仓库。
此模型来自 Depth Anything V2，其中深度指的是从摄像头到图像中每个点的距离，使用深度卷积神经网络估计。

图：sample_depth_estimat 的示例效果

`sample_depth_estimation` 的流水线流程

图：sample_depth_estimation 的流水线流程

`sample_depth_estimation` 流水线中使用的 ROS 节点

ROS 节点	说明
`sample_depth_estimation`	一个基于 Python 的 ROS 2 Jazzy 包，用于处理每像素深度值。该 ROS 节点订阅一个图像 topic，在预处理和后处理后发布深度估计结果 topic。
`qrb_ros_camera`	Qualcomm ROS 2 包，使用参数捕获图像并将其发布到 ROS topic。
`qrb_ros_nn_inference`	该 ROS 节点加载训练好的 AI 模型，接收预处理后的图像，执行推理并发布结果。
`image_publisher`	ROS 2 Jazzy 包，使用本地路径发布图像 ROS topic。有关更多信息，请参见 image_publisher。

`sample_depth_estimation` 流水线中使用的 ROS topic

ROS topic	类型	说明
`/image_raw`	`sensor_msgs.msg.Image`	发布的图像信息，来自 `image_publisher`。以绝对名称订阅，因此不带命名空间。
`/sample_container/cam0_stream1`	`sensor_msgs.msg.Image`	摄像头图像流，来自 `qrb_ros_camera`。
`/sample_container/qrb_inference_input_tensor`	`qrb_ros_tensor_list_msgs.msg.TensorList`	预处理消息。
`/sample_container/qrb_inference_output_tensor`	`qrb_ros_tensor_list_msgs.msg.TensorList`	后处理消息。
`/sample_container/depth_map`	`sensor_msgs.msg.Image`	包含以颜色图表示的每像素深度值。

注意launch 文件将所有节点放置于 sample_container 命名空间下，因此该示例的 topic 都以 /sample_container/ 为前缀。只有 /image_raw 以绝对名称订阅，因此保持全局。

前提条件

你已完成设置运行示例应用的环境中的以下设置。

设置设备
设置主机 docker

开箱即用运行 `sample_depth_estimation`

试一试

在开发套件上运行示例

SSH Session

source /usr/share/qirp-setup.sh -m
export ROS_DOMAIN_ID=55

# Launch the sample depth estimation with image publisher.
# You can replace 'image_path' with your desired image.
ros2 launch sample_depth_estimation launch_with_image_publisher.py \
    image_path:=/usr/ros/jazzy/share/sample_depth_estimation/resource/input_image.jpg

# Launch the sample depth estimation node with qrb_ros_camera.
ros2 launch sample_depth_estimation launch_with_qrb_ros_camera.py

在主机计算机上查看深度估计结果

启动一个终端并运行以下命令来检查深度估计结果。
SSH Session
export ROS_DOMAIN_ID=55 ros2 topic echo /sample_container/depth_map

启动 rqt 以在主机 docker 上查看深度估计结果，有关更多信息，请参见 rqt。

SSH Session

# YOUR_HOST_IP is the IP address of the Host where you want to view the sample output.
export DISPLAY=YOUR_HOST_IP:0
export ROS_DOMAIN_ID=55
rqt

依次选择以下按钮。Plugins —> Visualization —> Image View
在 rqt gui 上手动选择 topic /sample_container/depth_map，然后图片将成功显示在 rqt 上。

构建并运行 `sample_depth_estimation`

以下步骤以 Dragonwing IQ-9075 Evaluation Kit 为例构建 sample_depth_estimation 包。

试一试

在主机计算机上构建并打包

构建示例应用项目。

SSH Session

cd <decompressed_workspace>/images/iq-9075-evk/qirpsdk_artifacts/iq-9075-evk/
tar -zxvf qirp-sdk_<qirp_version>.tar.gz
cd <qir_decompressed_path>/qirp-sdk
source setup.sh
# build sample
cd <qirp_decompressed_path>/qirp-samples/ai_vision/sample_depth_estimation
colcon build

打包并将示例应用推送到设备。

SSH Session

# package and push build result of sample
cd ./install/sample_depth_estimation
tar -czvf sample_depth_estimation.tar.gz lib share
scp sample_depth_estimation.tar.gz root@[ip-addr]:/opt/

在开发套件上安装并运行

安装示例应用。

SSH Session

# Install sample package
tar --no-overwrite-dir --no-same-owner -zxf /opt/sample_depth_estimation.tar.gz -C /usr/ros/jazzy/

按照开箱即用运行 sample_depth_estimation 中的步骤运行示例应用。

​sample_depth_estimation 的流水线流程

​sample_depth_estimation 流水线中使用的 ROS 节点

​sample_depth_estimation 流水线中使用的 ROS topic

​前提条件

​开箱即用运行 sample_depth_estimation

​构建并运行 sample_depth_estimation

`sample_depth_estimation` 的流水线流程

`sample_depth_estimation` 流水线中使用的 ROS 节点

`sample_depth_estimation` 流水线中使用的 ROS topic

前提条件

开箱即用运行 `sample_depth_estimation`

构建并运行 `sample_depth_estimation`