从主机计算机运行 - Qualcomm Dragonwing Documentation

Qualcomm^® IoT 平台上的 Ubuntu 提供了多种示例应用程序。每个应用程序适用于不同的用例，例如零售、Qualcomm ^® Edge AI Box 解决方案以及 IP 摄像机。示例应用程序可分为以下几类：

多媒体示例应用程序，用于展示摄像头、视频和音频功能。
AI 示例应用程序，用于展示 AI 和机器学习 (ML) 能力。

前提条件

在开始之前，请先设置 IQ-9075 设备。
要启用这些应用程序和必要的 AI 插件，请参阅 🔗安装所需软件包。

要使用摄像头，请在目标设备上运行以下命令以启用 camx：

echo -n "camx" > /var/data
efivar -n 882f8c2b-9646-435f-8de5-f208ff80c1bd-VendorDtbOverlays -w -f /var/data
efivar -n 882f8c2b-9646-435f-8de5-f208ff80c1bd-VendorDtbOverlays -p
sync
reboot

运行多媒体示例应用程序

多媒体示例应用程序展示了 Dragonwing EVK 上的摄像头、显示和视频流用例。

多摄像头流传输或编码（行车记录仪）

说明： gst-multi-camera-example 应用程序允许您同时从两个摄像头传感器进行流传输。该应用程序将摄像头画面并排合成后显示在屏幕上，或将视频流编码并存储到文件中。需要多个摄像头输入的一些用例包括行车记录仪或立体摄像头。您可以将此应用程序用作参考，并构建您自己的用例。例如，一个安防系统，其目标是从多个摄像头捕获视频。您可以查看它，也可以将其归档以供未来查看。下图显示了多个摄像头流的管道。有关此管道中使用的元素的更多信息，请参阅管道流程。多摄像头管道

图：gst-multi-camera-stream-example 管道 应用程序： gst-multi-camera-example

Try me

运行应用程序

注意： 在以下命令中，请提供必要的参数，例如宽度、高度和输出类型。宽度和高度的更改仅适用于主摄像头。

完成前提条件

请确保您已完成前提条件。

在目标设备的终端上，选择以下任一用例并运行相应的命令：

Waylandsink 用例： 查看 Waylandsink 输出：

gst-multi-camera-example -o 0 -w 1920 -h 1080

编码器用例： 查看编码器输出：

gst-multi-camera-example -o 1 -w 1920 -h 1080

停止正在运行的用例

按 Ctrl + C。

在目标设备的终端上，运行以下命令以显示可用的帮助选项：

gst-multi-camera-example --help

预期输出

输出显示在屏幕上并保存到文件中。

如果输出类型为显示，则可以在显示器上预览流。
如果输出类型为视频编码，则编码文件分别保存在 /etc/media/cam1_vid.mp4 和 /etc/media/cam2_vid.mp4 中，对应摄像头 1 和摄像头 2。

图：gst-multi-camera-example 应用程序的预期输出——预览

管道流程

下表列出了多摄像头流传输管道中使用的插件：

管道	说明
显示器预览	`qticamsrc` 从 camera0 和 camera1 捕获视频。应用 `Capsfilter` 以对原始视频数据施加约束。 `qtivcomposer` 合成视频流，并将合成后的视频数据发送到 Wayland 显示接收器。 `waylandsink` 显示实时预览。
在设备上转储编码器	`qticamsrc` 从 camera0 和 camera1 捕获视频。应用 `Capsfilter` 以对原始视频数据施加约束。 `v4l2h264enc` 用于使用 H.264 格式对视频进行编码。 `H264parse` 用于解析视频。 `Mp4mux` 用于将视频复用到 MP4 容器中。 `Filesink` 用于将视频写入文件。

多通道视频解码与合成（视频墙）

说明： gst-concurrent-videoplay-composition 应用程序支持并发播放 MP4 AVC (H.264) 视频，并在视频墙显示器上执行合成。在并发视频播放和合成管道中，四个解码和合成管道并发运行。有关此管道中所使用插件的更多信息，请参阅管道流程。单摄像头管道

图：具有四个流的 gst-concurrent-videoplay-composition 管道 应用程序： gst-concurrent-videoplay-composition

Try me

运行应用程序

下表列出了通过 gst-concurrent-videoplay-composition 应用程序支持的用例：

用例	说明
视频会议	同时解码多个参与者的视频流。适用于应用程序管理多个视频流的多方视频会议场景。
监控系统	并发解码来自两个独立摄像头的视频源。
数字标牌	允许对通过多个位置以电子方式显示的集中管理信息进行同步更改或更新。

要运行这些用例，请执行以下操作：

完成前提条件

请确保您已完成前提条件。

准备输入视频文件

在目标设备上添加至少一个 MP4 AVC (H.264) 视频文件。

运行用例

在目标设备的终端上，运行：

gst-concurrent-videoplay-composition -c <number-of-streams> -i <input-file-1>.mp4 -i <input-file-2>.mp4

命令行参数

参数	说明
`-c`	用于合成的解码流数量。支持的值：`2`、`4`、`8`、`16`。
`-i`	输入视频文件的绝对路径。

示例

两个会话的并发播放

gst-concurrent-videoplay-composition -c 2 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4

四个会话的并发播放

gst-concurrent-videoplay-composition -c 4 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4

停止正在运行的用例

按 Ctrl + C。

在目标设备的终端上，运行以下命令以显示可用的帮助选项：

gst-concurrent-videoplay-composition --help

预期输出

各个合成的流平铺在一起，作为一个统一的流显示。视频墙输出

图：gst-concurrent-videoplay-composition 应用程序的预期输出

管道流程

下表列出了运行视频墙管道所使用的插件：

插件	说明
filesrc	读取视频数据。
qtdemux	解复用视频数据。
h264parse	解析 H.264 视频流。
v4l2h264dec	解码 H.264 视频流。
qtivcomposer	合成解码后的流并通过显示器发送。
waylandsink	在 Wayland 显示器上显示合成的视频流。

运行 AI 示例应用程序

AI 示例应用程序展示了在 Dragonwing EVK 上，针对来自摄像头、视频文件或实时流协议 (RTSP) 流的输入流进行对象检测、多流推理和并行推理的用例。

下载并传输 AI 模型和标签

要运行 AI 示例应用程序，请使用以下方法之一下载所需的模型和标签：

从 Qualcomm® AI Hub 下载 AI 模型，并从 GitHub 下载标签

使用 download_artifacts.sh 脚本下载 AI 模型和标签在目标设备上，获取 download_artifacts.sh 脚本，设置可执行权限，并运行它以下载模型、媒体和标签文件：

cd /tmp/
curl -L -O https://raw.githubusercontent.com/qualcomm/sample-apps-for-qualcomm-linux/refs/heads/main/qualcomm-linux/scripts/download_artifacts_2.x.sh
sudo chmod +x download_artifacts.sh
sudo ./download_artifacts.sh

要运行对象检测、并行推理和多流推理 AI 用例，应用程序使用以下 AI 模型：

示例应用程序	所需模型
AI 对象检测	yolox_quantized.tflite
并行 AI 推理	yolox_quantized.tflite Inception-v3 HRNetPose DeepLabV3-Plus-MobileNet
多流推理	yolox_quantized.tflite Inception-v3

AI 对象检测

说明： gst-ai-object-detection 应用程序允许您检测图像和视频中的对象。这些用例展示了 YOLOv5、YOLOv8 和 YOLOX 在 Qualcomm AI 硬件加速器上的执行情况。下图显示了管道，它从实时摄像头源、文件、USB 源或 RTSP 流接收输入，对其进行预处理，并在 AI 硬件上运行推理。结果要么显示在屏幕上，要么保存为编码的 MP4 文件，要么通过 RTSP 服务器流式传输。有关管道流程中使用的插件的信息，请参阅管道流程 管道图

应用程序： gst-ai-object-detection

Try me

输入和输出能力

文件源	RTSP	USB 摄像头	MIPI 摄像头	IMX577 摄像头	文件输出	显示	RTSP 输出
是	是	是	是	是	是	是	是

示例模型和标签文件

运行时	模型文件	标签文件
Qualcomm Neural Processing SDK	`yolonas.dlc`	`yolonas.json`
LiteRT	`yolov8_det_quantized.tflite` / `yolox_quantized.tflite`	`yolox.json`
Qualcomm AI Engine Direct	`yolov8_det_quantized.bin`	`yolov8.json`

在目标设备上运行应用程序

下载构件

请确保您已将所有必需的构件下载到目标设备。

运行应用程序

gst-ai-object-detection --config-file=/etc/configs/config_detection.json

示例应用程序使用 /etc/configs/config_detection.json 文件读取输入参数。要显示所有可用选项：

gst-ai-object-detection -h

要停止用例，请按 CTRL + C。

配置

gst-ai-object-detection 应用程序使用 /etc/configs/config_detection.json 文件。请更新其属性以匹配您的模型、输入流和输出。有关所有字段，请参阅配置 JSON 字段说明。

{
  "file-path": "<path-to-input-video>",
  "ml-framework": "<snpe or tflite or qnn framework>",
  "yolo-model-type": "<yolov8 or yolonas or yolov5 or yolox>",
  "model": "<path-to-model-file>",
  "labels": "<path-to-label-file>",
  "threshold": <post processsing threshold, integer value from 1 to 100>,
  "runtime": "<dsp, gpu, cpu runtime>",
  "output-type": "waylandsink or filesink or rtspsink",
  "snpe-tensors": "<model output tensor name>"
}

对于 USB 摄像头输入，请在配置文件中设置 video-format、resolution 和 framerate 参数，以匹配摄像头的能力，请参阅配置 USB 摄像头。

snpe-tensors 字段仅适用于 SNPE 运行时。要检索 DLC 模型的输出张量名称，请在 Netron 中打开该模型。

使用来自 AI Hub 的 DLC 模型时，snpe-tensors 字段是可选的。

可用配置

摄像头源、LiteRT 模型、DSP 运行时

{
  "camera": 0,
  "ml-framework": "tflite",
  "yolo-model-type": "yolox",
  "model": "/etc/models/yolox_quantized.tflite",
  "labels": "/etc/labels/yolox.json",
  "threshold": 40,
  "runtime": "dsp",
  "output-type": "waylandsink",
  "snpe-tensors": "<Model output tensor name>"
}

预期输出

检测到的对象连同边界框和标签会叠加在视频上，并显示在本地显示器上。输出图

管道流程

下表列出了对象检测管道中使用的插件：

插件	说明
`qticamsrc`	• 从摄像头捕获实时流。 • 使用 `tee` 拆分流以进行推理。
`filesrc`	• 使用 `filesrc` 捕获视频流，然后 `qtdemux` 对流进行解复用。 • 使用 `tee` 拆分流以进行推理。
`rtspsrc`	• 使用 `rtspsrc` 捕获 RTSP 流，然后 `rtph264depay` 用于视频提取。 • 使用 `tee` 拆分流以进行推理。
`v4l2src`	• 从 USB 摄像头捕获实时流。 • 使用 `tee` 拆分流以进行推理。
`h264parse`	解析 H.264 视频比特流。
`v4l2h264dec`	将 H.264 视频硬件解码为原始帧。
`qtimlvconverter`	1. 在其接收端接收视频流。 2. 对流数据执行以下预处理： • 颜色转换 • 缩放（放大或缩小） • 归一化 3. 将预处理后的视频流转换为张量流。该张量流将在管道的后续阶段用于推理。
`qtimlsnpe` `qtimltflite` `qtimlqnn`	1. 推理运行时在其接收端接收张量流后，使用提供的模型运行推理。 2. 在其源端产生包含推理结果的张量流。
`qtimlpostprocess`	处理来自任何对象检测模型的推理结果。 1. 对所选数量的结果应用阈值。 2. 加载 YOLO（YOLOv5、YOLOv8 或 YOLO-NAS）模块。 3. 产生仅带有边界框的视频帧，这些边界框可叠加在对象上。 4. 将这些处理后的帧发送到 `qtivcomposer` 的接收端。
`qtivcomposer`	1. 使用来自其接收端的内容合成帧。 2. 将包含这些合成帧的 GStreamer 缓冲区推送到其源端。
`waylandsink`	1. 将其接收端接收到的视频流提交给 Weston。 2. Weston 将视频流渲染到本地显示器上。
`filesink`	在接收端接收视频流，并将其保存为 H.264 编码的 MP4 文件。
`qtirtspbin`	1. 作为网络接收器。 2. 向网络传输 UDP 数据包。

配置 JSON 字段说明

字段	值/说明
`ml-framework`	支持的 ML 框架： • `snpe` (Qualcomm Neural Processing SDK) • `tflite` (LiteRT) • `qnn` (Qualcomm AI Engine Direct)
`yolo-model-type`	支持的 YOLO 架构： • `yolov8` • `yolonas` • `yolov5` • `yolox`
`runtime`	硬件运行时： • `cpu` • `gpu` • `dsp`
`Input source`	支持的输入源： • `camera`（0=主摄像头，1=副摄像头） • `file-path` • `rtsp-ip-port` • `usb-camera`（将 `enable-usb-camera` 设置为 `TRUE`）
`output-ip-address`	输出 RTSP 服务器 IP 地址
`port`	输出 RTSP 服务器端口
`output-type`	支持的输出接收器： • `waylandsink`（显示） • `filesink`（MP4 文件） • `rtspsink`（RTSP 流）
`snpe-tensors`	`["output-tensor-name", "output-tensor-name"]`
`USB camera video-format and resolution`	1. 使用以下 `video-format` 选项之一： • `waylandsink`（显示） • `filesink`（MP4 文件） • `rtspsink`（RTSP 流） 2. 使用以下分辨率字段： • `width` • `height` • `framerate`
`output-file`	输出文件名。默认输出文件为 `output_object_detection.mp4`。

并行 AI 推理

说明：gst-ai-parallel-inference 应用程序允许您对来自不同来源（例如摄像头、文件或 RTSP 网络）的输入流执行对象检测、对象分类、姿势检测和图像分割。这些用例通过 LiteRT 模型实现对象检测、图像分割、分类和姿势检测。下图显示了管道，它从摄像头、文件或 RTSP 流接收输入流，为这四个用例执行并行推理，并将结果并排显示在屏幕上。有关此管道中使用的插件的信息，请参阅管道流程。管道图

应用程序： gst-ai-parallel-inference

Try me

输入和输出能力

文件源	RTSP	USB 摄像头	MIPI 摄像头	文件输出	显示	RTSP 输出
是	是	否	是	否	是	否

示例模型和标签文件

运行时	模型文件	标签文件
LiteRT	detection: `yolox_quantized.tflite` classification: `inception_v3_quantized.tflite` segmentation: `deeplabv3_plus_mobilenet_quantized.tflite` pose: `hrnet_pose_quantized.tflite`	detection: `yolox.json` classification: `classification.json` segmentation: `deeplabv3_resnet50.json` pose: `hrnet_pose.json`, `hrnet_settings.json`

在目标设备上运行应用程序

下载构件

请确保您已将所有必需的构件下载到目标设备。

运行应用程序

gst-ai-parallel-inference --config-file=/etc/configs/config-parallel-inference.json

示例应用程序使用 /etc/configs/config-parallel-inference.json 文件读取输入参数。要显示所有可用选项：

gst-ai-parallel-inference -h

要停止用例，请按 CTRL + C。

配置

gst-ai-parallel-inference 应用程序使用 /etc/configs/config-parallel-inference.json 文件。请更新其属性以匹配您的模型、输入流和输出。有关所有字段，请参阅配置 JSON 字段说明。

{
  "camera": "<camera-id>",
  "file-path": "<input-video-path>",
  "rtsp-ip-port": "<RTSP-IP-Port-address>",
  "detection-model": "<path-to-detection model>",
  "detection-labels": "<path-to-detection-labels>",
  "pose-model": "<path-to-pose-model>",
  "pose-labels": "<path-to-pose-label>",
  "pose-settings-path": "<path-to-pose-settings-file>",
  "segmentation-model": "<path-to-segmentation-model>",
  "segmentation-labels": "<path-to-segmentation-labels>",
  "classification-model": "<path-to-classification-model>",
  "classification-labels": "<path-to-classification-labels>"
}

对于 QCS6490，如果配置文件中不存在 file-path 和 rtsp-ip-port，则选择摄像头输入。

可用配置

文件源、LiteRT 模型、DSP 运行时

{
    "file-path": "/etc/media/video.mp4",
    "detection-model": "/etc/models/yolox_quantized.tflite",
    "detection-labels": "/etc/labels/yolox.json",
    "pose-model": "/etc/models/hrnet_pose_quantized.tflite",
    "pose-labels": "/etc/labels/hrnet_pose.json",
    "pose-settings-path": "/etc/labels/hrnet_settings.json",
    "segmentation-model": "/etc/models/deeplabv3_plus_mobilenet_quantized.tflite",
    "segmentation-labels": "/etc/labels/deeplabv3_resnet50.json",
    "classification-model": "/etc/models/inception_v3_quantized.tflite",
    "classification-labels": "/etc/labels/classification.json"
}

预期输出

在执行四个并行推理后，结果会并排显示在屏幕上。管道图

管道流程

下表列出了元数据解析器管道中使用的插件：

插件	说明
`qticamsrc`	• 从摄像头捕获实时流。 • 使用 `tee` 拆分流以进行推理。
`filesrc`	• 使用 `filesrc` 捕获视频流。 • 然后使用 `qtdemux` 对流进行解复用。 • 使用 `tee` 拆分流以进行推理。
`rtspsrc`	• 使用 `rtspsrc` 捕获 RTSP 流。 • 然后使用 `rtph264depay` 进行视频提取。 • 使用 `tee` 拆分流以进行推理。
`h264parse`	解析 H.264 视频。
`v4l2h264dec`	解码视频。
`qtimlvconverter`	1. 在其接收端接收视频流。 2. 当模型期望浮点值作为输入时，对流数据执行以下预处理： • 颜色转换 • 缩放（放大或缩小） • 归一化 3. 该张量流将在管道的后续阶段用于推理。
`qtimltflite`	• 推理运行时在其接收端接收张量流后，运行推理。 • 在其源端产生包含推理结果的张量流。
`qtimlpostprocess` — 检测	a. 从对象检测模型接收推理张量。 b. 将接收端上的推理张量转换为多媒体插件后续可处理的格式，例如视频或文本。 c. 对所选数量的结果应用阈值。 d. 加载对应检测模型的模块。在此用例中，`qtimlpostprocess` 执行以下操作： • 加载 YOLOv8 子模块。 • 以文本结构形式生成结果。 • 将它们发送到 `qtimetamux` 的接收端。
`qtimlpostprocess` — 分类	a. 从分类模型接收推理张量。 b. 将接收端上的推理张量转换为多媒体插件后续可处理的格式，例如视频或文本。 c. 对所选数量的结果应用阈值。 d. 加载对应分类模型的模块。在此用例中，`qtimlpostprocess` 执行以下操作： • 加载该模型的子模块。 • 以带有分类标签的视频帧形式生成结果。 • 将它们发送到 `qtivcomposer` 的接收端。
`qtimlpostprocess` — 分割	a. 在其接收端接收推理张量。 b. 将推理张量转换为多媒体插件后续可处理的视频格式。 c. 产生该帧的语义分割。 d. 加载对应分割模型的模块。在此用例中，`qtimlpostprocess` 执行以下操作： • 加载 deeplab-argmax 子模块。 • 产生带有分割掩码的视频帧。 • 将它们发送到 `qtivcomposer` 的接收端。
`qtimlpostprocess` — 姿势	a. 在其接收端接收推理张量。 b. 将推理张量转换为多媒体插件后续可处理的视频格式。 c. 对所选数量的结果应用阈值。 d. 加载对应各种姿势估计模型的模块。在此用例中，`qtimlpostprocess` 执行以下操作： • 加载 HRNet 模块。 • 产生带有绘制姿势的视频帧结果。 • 将它们发送到 `qtivcomposer` 的接收端。
`qtivcomposer`	1. 使用来自其接收端的内容合成帧。 2. 将包含这些合成帧的 GStreamer 缓冲区推送到其源端。
`waylandsink`	1. 将其接收端接收到的视频流提交给 Weston。 2. Weston 将视频流渲染到本地显示器上。

配置 JSON 字段说明

字段	值/说明
`Input source`	使用以下输入源之一： • `camera`：主摄像头（`0`）或副摄像头（`1`）。 • `file-path`：视频文件的目录路径。 • `rtsp-ip-port`：RTSP 流的地址：`rtsp://<ip>:<port>/<stream>`
`Models and labels`	• `detection-model`：检测模型的路径。 • `detection-labels`：检测标签的路径。 • `pose-model`：姿势模型的路径。 • `pose-labels`：姿势标签的路径。 • `segmentation-model`：分割模型的路径。 • `segmentation-labels`：分割标签的路径。 • `classification-model`：分类模型的路径。 • `classification-labels`：分类标签的路径。

多流推理

说明：gst-ai-multistream-inference 应用程序展示了对来自摄像头、文件或 RTSP 流的最多 32 个输入流进行 AI 推理（对象检测和分类）。下图显示了管道，它接收多个输入流，对其进行预处理，运行 AI 推理，合并这些流，并将它们全部合并为单个视频输出。在 1080P 和 720P 上经过验证的每个 SoC 上支持的最大输入流数如下：

QCS6490 – 8
Dragonwing IQ-8275 – 16
Dragonwing IQ-9075 – 32 输出显示在 HDMI 显示器上，保存为 H.264 编码的 MP4 文件，或转换为 RTSP 流。

有关此管道中使用的插件的信息，请参阅管道流程。管道图

应用程序： gst-ai-multistream-inference

Try me

输入和输出能力

文件源	RTSP	USB 摄像头	MIPI 摄像头	文件输出	显示	RTSP 输出
是	是	否	是	是	是	是

示例模型和标签文件

运行时	模型文件	标签文件
LiteRT	detection: `yolox_quantized.tflite` classification: `inception_v3_quantized.tflite`	detection: `yolox.json` classification: `classification.json`

在目标设备上运行应用程序

下载构件

请确保您已完成前提条件。这将把所有必需的构件下载到目标设备。

运行应用程序

gst-ai-multistream-inference --config-file=/etc/configs/config-multistream-inference.json

示例应用程序使用 /etc/configs/config-multistream-inference.json 文件读取输入参数。要显示所有可用选项：

gst-ai-multistream-inference -h

要停止用例，请按 CTRL + C。

配置

gst-ai-multistream-inference 应用程序使用 /etc/configs/config-multistream-inference.json 文件。请更新其属性以匹配您的模型、输入流和输出。有关所有字段，请参阅配置 JSON 字段说明。

{
  "input-file-path": ["<input file 1>", "<input file 2>"],
  "input-rtsp-path": ["<rtsp stream 1>", "<rtsp stream 2 >"],
  "input-type": "<h264 or h265>",
  "model": "<path to model file>",
  "labels": "<path to label file>",
  "output-display": "<0 or 1>",
  "output-file-path": "<output file path>",
  "output-ip-address": "<ip address of test kit>",
  "output-port-number": "<port number over which rtsp stream can be listened>",
  "use-case": "<0 or 1>"
}

如果观察到性能下降，可以使用 YOLOv8 LiteRT 模型。有关 YOLOv8 导出说明，请参阅前提条件。

可用配置

在 8 个 H.264 文件输入上进行对象检测，LiteRT 模型，DSP 运行时

{
  "input-file-path":
    [
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4"
    ],
  "model": "/etc/models/yolox_quantized.tflite",
  "labels": "/etc/labels/yolox.json",
  "input-type": "h264",
  "output-display": 1,
  "use-case": 0
}

预期输出

管道流程

下表列出了元数据解析器管道中使用的插件：

插件	说明
`qticamsrc`	• 从摄像头捕获实时流。 • 使用 `tee` 拆分流以进行推理。
`filesrc`	• 使用 `filesrc` 捕获视频流，然后 `qtdemux` 对流进行解复用。 • 使用 `tee` 拆分流以进行推理。
`rtspsrc`	• 使用 `rtspsrc` 捕获 RTSP 流，然后 `rtph264depay` 用于视频提取。 • 使用 `tee` 拆分流以进行推理。
`h264parse`	• 解析 H.264 视频。
`v4l2h264dec`	• 解码视频。
`qtimlvconverter`	1. 在其接收端接收视频流。 2. 对流数据执行以下预处理。当模型期望浮点值作为输入时执行此预处理： • 颜色转换 • 缩放（放大或缩小） • 归一化 3. 在其源端将预处理后的视频流转换为张量流。该张量流将在管道的后续阶段用于推理。
`qtimltflite`	1. 推理运行时在其接收端接收张量流后，运行推理。 2. 在其源端产生包含推理结果的张量流。
`qtimlpostprocess`	处理来自任何对象检测、分类、姿势检测和分割模型的推理结果。检测用例： • 对所选数量的结果应用阈值。 • 加载 YOLOv8 模块。 • 产生仅带有边界框的视频帧，这些边界框可叠加在对象上，并将其发送到 `qtivcomposer` 的接收端。分类用例： • 对所选数量的结果应用阈值。 • 加载 MobileNet-softmax 模块。 • 以带有分类标签的视频帧形式生成结果，并将其发送到 `qtivcomposer` 的接收端。
`qtivcomposer`	1. 使用来自其接收端的内容合成帧。 2. 将包含这些合成帧的 GStreamer 缓冲区推送到其源端。
`waylandsink`	1. `waylandsink` 将其接收端接收到的视频流提交给 Weston。 2. Weston 将视频流渲染到本地显示器上。
`filesink`	1. 在其接收端接收视频流。 2. 将流保存为 H.264 编码的 MP4 文件。
`qtirtspbin`	1. 作为网络接收器。 2. 向网络传输 UDP 数据包。

配置 JSON 字段说明

字段	值/说明
`Input source`	使用以下输入源之一： • `num-camera`：来自摄像头的输入数量。 • `camera`：当 `num-camera=1` 时的输入摄像头。 • `input-file-path`：视频文件的目录路径。 • `input-rtsp-path`：RTSP 流的地址：`rtsp://<ip>:<port>/<stream>`
`input-type`	文件和 RTSP 输入的视频编码类型： • `H.264` • `H.265`
`Output`	使用以下输出之一： • `output-file-path`：保存输出文件的目录路径。 • `output-ip-address`：可播放 RTSP 流的设备的 IP 地址。 • `output-port-number`：可播放 RTSP 流的设备的端口号。 • `output-display`：连接用于预览的显示设备。选择 `1` 以启用此选项。

参考文档

要进一步探索示例应用程序，

请参阅 IMSDK AI 示例应用程序了解基于 AI 的示例应用程序。
请参阅 IMSDK MM 示例应用程序了解基于 MM 的示例应用程序。

​前提条件

​运行多媒体示例应用程序

​多摄像头流传输或编码（行车记录仪）

​运行应用程序

​预期输出

管道流程

​多通道视频解码与合成（视频墙）

​运行应用程序

​预期输出

管道流程

​运行 AI 示例应用程序

​下载并传输 AI 模型和标签

​AI 对象检测

​输入和输出能力

​示例模型和标签文件

​在目标设备上运行应用程序

​配置

​预期输出

管道流程

配置 JSON 字段说明

​并行 AI 推理

​输入和输出能力

​示例模型和标签文件

​在目标设备上运行应用程序

​配置

​预期输出

管道流程

配置 JSON 字段说明

​多流推理

​输入和输出能力

​示例模型和标签文件

​在目标设备上运行应用程序

​配置

​预期输出

管道流程

配置 JSON 字段说明

​参考文档

前提条件

运行多媒体示例应用程序

多摄像头流传输或编码（行车记录仪）

运行应用程序

预期输出

多通道视频解码与合成（视频墙）

运行应用程序

预期输出

运行 AI 示例应用程序

下载并传输 AI 模型和标签

AI 对象检测

输入和输出能力

示例模型和标签文件

在目标设备上运行应用程序

配置

预期输出

并行 AI 推理

输入和输出能力

示例模型和标签文件

在目标设备上运行应用程序

配置

预期输出

多流推理

输入和输出能力

示例模型和标签文件

在目标设备上运行应用程序

配置

预期输出

参考文档