从主机计算机运行 - Qualcomm Dragonwing Documentation

Qualcomm ^® Linux ^® 提供多种示例应用程序。每个应用程序适用于不同的使用场景，例如零售、Qualcomm ^® Edge AI Box 解决方案和 IP 摄像头。示例应用程序可分为以下几类：

多媒体示例应用程序，展示摄像头、视频和音频功能。
AI 示例应用程序，展示 AI 和机器学习（ML）能力。

前提条件

在开始之前，请先设置 IQ-9075 设备。要使用摄像头，请在目标设备上运行以下命令以启用 camx：

echo -n "camx" > /var/data
efivar -n 882f8c2b-9646-435f-8de5-f208ff80c1bd-VendorDtbOverlays -w -f /var/data
efivar -n 882f8c2b-9646-435f-8de5-f208ff80c1bd-VendorDtbOverlays -p
sync
reboot

运行多媒体示例应用程序

多媒体示例应用程序展示了 Dragonwing EVK 上摄像头、显示和视频流的使用场景。

多摄像头流式传输或编码（行车记录仪）

说明： gst-multi-camera-example 应用程序允许您同时从两个摄像头传感器进行流式传输。该应用程序将摄像头画面并排合成显示在屏幕上，或将视频流编码并存储到文件中。需要多路摄像头输入的一些使用场景包括行车记录仪或立体摄像头。您可以将此应用程序作为参考来构建您自己的使用场景。例如，一个旨在从多个摄像头捕获视频的安防系统。您可以直接查看视频，也可以将其存档以供日后回看。下图展示了多路摄像头流的管线。有关此管线中使用的元素的更多信息，请参阅管线流程。

图：gst-multi-camera-stream-example 管线 应用程序： gst-multi-camera-example

试一试

运行应用程序

**注意：**在以下命令中，提供必要的参数，例如宽度、高度和输出类型。宽度和高度的更改仅适用于主摄像头。

完成前提条件

确保您已完成前提条件。

在目标设备的终端中，选择以下任一使用场景并运行相应命令：

**Waylandsink 使用场景：**查看 Waylandsink 输出：

gst-multi-camera-example -o 0 -w 1920 -h 1080

**编码器使用场景：**查看编码器输出：

gst-multi-camera-example -o 1 -w 1920 -h 1080

停止正在运行的使用场景

按 Ctrl + C。

在目标设备的终端中，运行以下命令以显示可用的帮助选项：

gst-multi-camera-example --help

在主机计算机的终端中，运行以下命令从目标设备拉取文件：

scp root@<IP address of target device>:/etc/media/<filename to pull>

预期输出

输出会显示在屏幕上并保存到文件。

如果输出类型为显示，您可以在显示器上预览视频流。
如果输出类型为视频编码，则编码后的文件分别保存在 /etc/media/cam1_vid.mp4 和 /etc/media/cam2_vid.mp4（对应摄像头 1 和摄像头 2）。

图：gst-multi-camera-example 应用程序的预期输出——预览

管线流程

下表列出了多摄像头流式传输管线中使用的插件：

管线	说明
在显示器上预览	`qticamsrc` 从 camera0 和 camera1 捕获视频。应用 `Capsfilter` 对原始视频数据施加约束。 `qtivcomposer` 合成视频流并将合成后的视频数据发送到 Wayland 显示接收器。 `waylandsink` 显示实时预览。
在设备上转储编码器输出	`qticamsrc` 从 camera0 和 camera1 捕获视频。应用 `Capsfilter` 对原始视频数据施加约束。 `v4l2h264enc` 用于以 H.264 格式编码视频。 `H264parse` 用于解析视频。 `Mp4mux` 用于将视频复用到 MP4 容器中。 `Filesink` 用于将视频写入文件。

多通道视频解码与合成（视频墙）

说明： gst-concurrent-videoplay-composition 应用程序支持 MP4 AVC（H.264）视频的并发视频播放，并在视频墙显示器上执行合成。在并发视频播放与合成管线中，四条解码与合成管线并发运行。有关此管线中使用的插件的更多信息，请参阅管线流程。

图：包含四路流的 gst-concurrent-videoplay-composition 管线 应用程序： gst-concurrent-videoplay-composition

试一试

运行应用程序

下表列出了 gst-concurrent-videoplay-composition 应用程序支持的使用场景：

使用场景	说明
视频会议	同时解码多个与会者的视频流。适用于多方视频会议场景，应用程序需要管理多路视频流。
监控系统	并发解码来自两个独立摄像头的视频画面。
数字标牌	允许对在多个地点以电子方式显示的集中管理信息进行同步更改或更新。

要运行这些使用场景，请执行以下操作：

完成前提条件

确保您已完成前提条件。

准备输入视频文件

在目标设备上添加至少一个 MP4 AVC (H.264) 视频文件。

运行使用场景

在目标设备的终端中，运行：

gst-concurrent-videoplay-composition -c <number-of-streams> -i <input-file-1>.mp4 -i <input-file-2>.mp4

命令行参数

参数	说明
`-c`	用于合成的解码流数量。支持的值：`2`、`4`、`8`、`16`。
`-i`	输入视频文件的绝对路径。

示例

两路会话的并发播放

gst-concurrent-videoplay-composition -c 2 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4

四路会话的并发播放

gst-concurrent-videoplay-composition -c 4 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4 -i /etc/media/video_avc.mp4

停止正在运行的使用场景

按 Ctrl + C。

在目标设备的终端中，运行以下命令以显示可用的帮助选项：

gst-concurrent-videoplay-composition --help

预期输出

各路合成后的视频流被拼接在一起，以统一的画面显示。

图：gst-concurrent-videoplay-composition 应用程序的预期输出

管线流程

下表列出了运行视频墙管线所使用的插件：

插件	说明
filesrc	读取视频数据。
qtdemux	对视频数据进行解复用。
h264parse	解析 H.264 视频流。
v4l2h264dec	解码 H.264 视频流。
qtivcomposer	合成解码后的视频流并将其发送到显示器。
waylandsink	在 Wayland 显示器上显示合成后的视频流。

运行 AI 示例应用程序

AI 示例应用程序展示了在 Dragonwing EVK 上对来自摄像头、视频文件或实时流传输协议（RTSP）流的输入流进行目标检测、多流推理和并行推理的使用场景。

下载并传输 AI 模型和标签

要运行 AI 示例应用程序，请使用以下任一方法下载所需的模型和标签：

从 Qualcomm® AI Hub 下载 AI 模型，并从 GitHub 下载标签

使用 download_artifacts.sh 脚本下载 AI 模型和标签在目标设备上，获取 download_artifacts.sh 脚本，设置可执行权限，并运行它以下载模型、媒体和标签文件：

cd /tmp/
curl -L -O https://raw.githubusercontent.com/qualcomm/sample-apps-for-qualcomm-linux/refs/heads/main/qualcomm-linux/scripts/download_artifacts.sh
chmod +x download_artifacts.sh
./download_artifacts.sh

要运行目标检测、并行推理和多流推理 AI 使用场景，应用程序使用以下 AI 模型：

示例应用程序	所需模型
AI 目标检测	yolox_quantized.tflite
并行 AI 推理	yolox_quantized.tflite Inception-v3 HRNetPose DeepLabV3-Plus-MobileNet
多流推理	yolox_quantized.tflite Inception-v3

AI 目标检测

说明： gst-ai-object-detection 应用程序允许您检测图像和视频中的目标。这些使用场景展示了 YOLOv5、YOLOv8 和 YOLOX 在 Qualcomm AI 硬件加速器上的执行。下图展示了该管线，它从实时摄像头画面、文件、USB 源或 RTSP 流接收输入，进行预处理，并在 AI 硬件上运行推理。结果或者显示在屏幕上，或者保存为编码后的 MP4 文件，或者通过 RTSP 服务器进行流式传输。有关管线流程中使用的插件的信息，请参阅管线流程

应用程序： gst-ai-object-detection

试一试

当软件镜像包含 qticamsrc 插件时，摄像头框架默认使用它。如果不存在，框架将改用 libcamera。由于 Config #1 不支持 qticamsrc，系统默认使用 libcamera。

输入和输出能力

配置	文件源	RTSP	USB 摄像头	MIPI 摄像头	IMX577 摄像头	文件输出	显示	RTSP 输出
Config #1	是	是	是	否	是	是	是	是
Config #2	是	是	是	是	是	是	是	是

示例模型和标签文件

运行时	模型文件	标签文件
Qualcomm Neural Processing SDK	`yolonas.dlc`	`yolonas.json`
LiteRT	`yolov8_det_quantized.tflite` / `yolox_quantized.tflite`	`yolox.json`
Qualcomm AI Engine Direct	`yolov8_det_quantized.bin`	`yolov8.json`

在目标设备上运行应用程序

下载资源

确保您已将所有必需的资源下载到目标设备。

运行应用程序

gst-ai-object-detection --config-file=/etc/configs/config_detection.json

示例应用程序使用 /etc/configs/config_detection.json 文件读取输入参数。要显示所有可用选项：

gst-ai-object-detection -h

要停止使用场景，按 CTRL + C。

配置

gst-ai-object-detection 应用程序使用 /etc/configs/config_detection.json 文件。请更新其属性以匹配您的模型、输入流和输出。有关所有字段，请参阅配置 JSON 字段说明。

{
  "file-path": "<path-to-input-video>",
  "ml-framework": "<snpe or tflite or qnn framework>",
  "yolo-model-type": "<yolov8 or yolonas or yolov5 or yolox>"
  "model": "<path-to-model-file>",
  "labels": "<path-to-label-file>",
  "threshold": <post processsing threshold, integer value from 1 to 100>,
  "runtime": "<dsp, gpu, cpu runtime>",
  "output-type": "waylandsink or filesink or rtspsink"
  "snpe-tensors": "<model output tensor name>"
}

对于 USB 摄像头输入，请在配置文件中设置 video-format、resolution 和 framerate 参数以匹配摄像头能力，请参阅配置 USB 摄像头。

snpe-tensors 字段仅适用于 SNPE 运行时。要获取 DLC 模型的输出张量名称，请在 Netron 中打开模型。

使用来自 AI Hub 的 DLC 模型时，snpe-tensors 字段是可选的。

可用配置

Config #2
Config #1

摄像头输入源、LiteRT 模型、DSP 运行时

{
  "camera": 0,
  "ml-framework": "tflite",
  "yolo-model-type": "yolox",
  "model": "/etc/models/yolox_quantized.tflite",
  "labels": "/etc/labels/yolox.json",
  "threshold": 40,
  "runtime": "dsp",
  "output-type": "waylandsink",
  "snpe-tensors": "<Model output tensor name>"
}

摄像头输入源、LiteRT 模型、CPU 运行时

{
  "ml-framework": "tflite",
  "yolo-model-type": "yolox",
  "model": "/etc/models/yolox_quantized.tflite",
  "labels": "/etc/labels/yolox.json",
  "threshold": 40,
  "runtime": "cpu",
  "output-type": "waylandsink",
  "snpe-tensors": "<Model output tensor name>"
}

Config #1 仅支持 LiteRT 模型和 CPU 运行时。

预期输出

检测到的目标带有边界框和标签，叠加在视频上并显示在本地显示器上。

管线流程

下表列出了目标检测管线中使用的插件：

插件	说明
`qticamsrc`	• 从摄像头捕获实时流。 • 使用 `tee` 分流以进行推理。
`filesrc`	• 使用 `filesrc` 捕获视频流，随后由 `qtdemux` 对流进行解复用。 • 使用 `tee` 分流以进行推理。
`rtspsrc`	• 使用 `rtspsrc` 捕获 RTSP 流，随后由 `rtph264depay` 提取视频。 • 使用 `tee` 分流以进行推理。
`v4l2src`	• 从 USB 摄像头捕获实时流。 • 使用 `tee` 分流以进行推理。
`h264parse`	解析 H.264 视频码流。
`v4l2h264dec`	通过硬件将 H.264 视频解码为原始帧。
`qtimlvconverter`	1. 在其 sink pad 上接收视频流。 2. 对流数据执行以下预处理： • 颜色转换 • 缩放（放大或缩小） • 归一化 3. 将预处理后的视频流转换为张量流。张量流用于管线后续阶段的推理。
`qtimlsnpe` `qtimltflite` `qtimlqnn`	1. 推理运行时在其 sink pad 上接收张量流后，使用提供的模型运行推理。 2. 在其 source pad 上产生包含推理结果的张量流。
`qtimlpostprocess`	处理来自任何目标检测模型的推理结果。 1. 对选定数量的结果应用阈值。 2. 加载 YOLO（YOLOv5、YOLOv8 或 YOLO-NAS）模块。 3. 产生仅包含可叠加在目标上的边界框的视频帧。 4. 将这些处理后的帧发送到 `qtivcomposer` 的 sink pad。
`qtivcomposer`	1. 用其各 sink pad 上的内容合成帧。 2. 将包含这些合成帧的 GStreamer 缓冲区推送到其 source pad。
`waylandsink`	1. 将其 sink pad 上接收到的视频流提交给 Weston。 2. Weston 在本地显示器上渲染视频流。
`filesink`	在 sink pad 上接收视频流并将其保存为 H.264 编码的 MP4 文件。
`qtirtspbin`	1. 作为网络接收器。 2. 向网络传输 UDP 数据包。

配置 JSON 字段说明

字段	值/说明
`ml-framework`	支持的 ML 框架： • `snpe`（Qualcomm Neural Processing SDK） • `tflite`（LiteRT） • `qnn`（Qualcomm AI Engine Direct）
`yolo-model-type`	支持的 YOLO 架构： • `yolov8` • `yolonas` • `yolov5` • `yolox`
`runtime`	硬件运行时： • `cpu` • `gpu` • `dsp`
`Input source`	支持的输入源： • `camera`（0=主摄像头，1=副摄像头） • `file-path` • `rtsp-ip-port` • `usb-camera`（将 `enable-usb-camera` 设置为 `TRUE`）
`output-ip-address`	输出 RTSP 服务器 IP 地址
`port`	输出 RTSP 服务器端口
`output-type`	支持的输出接收器： • `waylandsink`（显示） • `filesink`（MP4 文件） • `rtspsink`（RTSP 流）
`snpe-tensors`	`["output-tensor-name", "output-tensor-name"]`
`USB camera video-format and resolution`	1. 使用以下 `video-format` 选项之一： • `waylandsink`（显示） • `filesink`（MP4 文件） • `rtspsink`（RTSP 流） 2. 使用以下分辨率字段： • `width` • `height` • `framerate`
`output-file`	输出文件名。默认输出文件为 `output_object_detection.mp4`。

并行 AI 推理

说明：gst-ai-parallel-inference 应用程序允许您对来自摄像头、文件或 RTSP 网络等不同来源的输入流执行目标检测、目标分类、姿态检测和图像分割。这些使用场景采用 LiteRT 模型实现目标检测、图像分割、分类和姿态检测。下图展示了该管线，它从摄像头、文件或 RTSP 流接收输入流，对四个使用场景执行并行推理，并将结果并排显示在屏幕上。

由于不支持 CPU 运行时，此应用程序在 QLI 2.0 版本的 Config #1 中不受支持。

有关此管线中使用的插件的信息，请参阅管线流程。

应用程序： gst-ai-parallel-inference

试一试

输入和输出能力

配置	文件源	RTSP	USB 摄像头	MIPI 摄像头	文件输出	显示	RTSP 输出
Config #2	是	是	否	是	否	是	否

示例模型和标签文件

运行时	模型文件	标签文件
LiteRT	检测：`yolox_quantized.tflite` 分类：`inception_v3_quantized.tflite` 分割：`deeplabv3_plus_mobilenet_quantized.tflite` 姿态：`hrnet_pose_quantized.tflite`	检测：`yolox.json` 分类：`classification.json` 分割：`deeplabv3_resnet50.json` 姿态：`hrnet_pose.json`、`hrnet_settings.json`

在目标设备上运行应用程序

下载资源

确保您已将所有必需的资源下载到目标设备。

运行应用程序

gst-ai-parallel-inference --config-file=/etc/configs/config-parallel-inference.json

示例应用程序使用 /etc/configs/config-parallel-inference.json 文件读取输入参数。要显示所有可用选项：

gst-ai-parallel-inference -h

要停止使用场景，按 CTRL + C。

配置

gst-ai-parallel-inference 应用程序使用 /etc/configs/config-parallel-inference.json 文件。请更新其属性以匹配您的模型、输入流和输出。有关所有字段，请参阅配置 JSON 字段说明。

{
  "camera": "<camera-id>",
  "file-path": "<input-video-path>",
  "rtsp-ip-port": "<RTSP-IP-Port-address>",
  "detection-model": "<path-to-detection model>",
  "detection-labels": "<path-to-detection-labels>",
  "pose-model": "<path-to-pose-model>",
  "pose-labels": "<path-to-pose-label>",
  "pose-settings-path": "<path-to-pose-settings-file>",
  "segmentation-model": "<path-to-segmentation-model>",
  "segmentation-labels": "<path-to-segmentation-labels>",
  "classification-model": "<path-to-classification-model>",
  "classification-labels": "<path-to-classification-labels>"
}

对于 QCS6490，如果配置文件中不存在 file-path 和 rtsp-ip-port，则会选择摄像头输入。

可用配置

Config #2

文件输入源、LiteRT 模型、DSP 运行时

{
    "file-path": "/etc/media/video.mp4",
    "detection-model": "/etc/models/yolox_quantized.tflite",
    "detection-labels": "/etc/labels/yolox.json",
    "pose-model": "/etc/models/hrnet_pose_quantized.tflite",
    "pose-labels": "/etc/labels/hrnet_pose.json",
    "pose-settings-path": "/etc/labels/hrnet_settings.json",
    "segmentation-model": "/etc/models/deeplabv3_plus_mobilenet_quantized.tflite",
    "segmentation-labels": "/etc/labels/deeplabv3_resnet50.json",
    "classification-model": "/etc/models/inception_v3_quantized.tflite",
    "classification-labels": "/etc/labels/classification.json"
}

预期输出

执行四路并行推理后，结果并排显示在屏幕上。

管线流程

下表列出了元数据解析器管线中使用的插件：

插件	说明
`qticamsrc`	• 从摄像头捕获实时流。 • 使用 `tee` 分流以进行推理。
`filesrc`	• 使用 `filesrc` 捕获视频流。 • 随后由 `qtdemux` 对流进行解复用。 • 使用 `tee` 分流以进行推理。
`rtspsrc`	• 使用 `rtspsrc` 捕获 RTSP 流。 • 随后由 `rtph264depay` 提取视频。 • 使用 `tee` 分流以进行推理。
`h264parse`	解析 H.264 视频。
`v4l2h264dec`	解码视频。
`qtimlvconverter`	1. 在其 sink pad 上接收视频流。 2. 当模型的输入需要浮点值时，对流数据执行以下预处理： • 颜色转换 • 缩放（放大或缩小） • 归一化 3. 张量流用于管线后续阶段的推理。
`qtimltflite`	• 推理运行时在其 sink pad 上接收张量流后运行推理。 • 在其 source pad 上产生包含推理结果的张量流。
`qtimlpostprocess` —— 检测	a. 接收来自目标检测模型的推理张量。 b. 将其 sink pad 上的推理张量转换为多媒体插件后续可处理的格式，例如视频或文本。 c. 对选定数量的结果应用阈值。 d. 加载检测模型对应的模块。在此使用场景中，`qtimlpostprocess` 执行以下操作： • 加载 YOLOv8 子模块。 • 以文本结构的形式产生结果。 • 将其发送到 `qtimetamux` 的 sink pad。
`qtimlpostprocess` —— 分类	a. 接收来自分类模型的推理张量。 b. 将其 sink pad 上的推理张量转换为多媒体插件后续可处理的格式，例如视频或文本。 c. 对选定数量的结果应用阈值。 d. 加载分类模型对应的模块。在此使用场景中，`qtimlpostprocess` 执行以下操作： • 加载模型的子模块。 • 以带分类标签的视频帧形式产生结果。 • 将其发送到 `qtivcomposer` 的 sink pad。
`qtimlpostprocess` —— 分割	a. 在其 sink pad 上接收推理张量。 b. 将推理张量转换为多媒体插件后续可处理的视频格式。 c. 为帧生成语义分割。 d. 加载分割模型对应的模块。在此使用场景中，`qtimlpostprocess` 执行以下操作： • 加载 deeplab-argmax 子模块。 • 产生带分割掩码的视频帧。 • 将其发送到 `qtivcomposer` 的 sink pad。
`qtimlpostprocess` —— 姿态	a. 在其 sink pad 上接收推理张量。 b. 将推理张量转换为多媒体插件后续可处理的视频格式。 c. 对选定数量的结果应用阈值。 d. 加载各种姿态估计模型对应的模块。在此使用场景中，`qtimlpostprocess` 执行以下操作： • 加载 HRNet 模块。 • 以绘制了姿态的视频帧形式产生结果。 • 将其发送到 `qtivcomposer` 的 sink pad。
`qtivcomposer`	1. 用其各 sink pad 上的内容合成帧。 2. 将包含这些合成帧的 GStreamer 缓冲区推送到其 source pad。
`waylandsink`	1. 将其 sink pad 上接收到的视频流提交给 Weston。 2. Weston 在本地显示器上渲染视频流。

配置 JSON 字段说明

字段	值/说明
`Input source`	使用以下输入源之一： • `camera`：主摄像头（`0`）或副摄像头（`1`）。 • `file-path`：视频文件的目录路径。 • `rtsp-ip-port`：RTSP 流的地址：`rtsp://<ip>:<port>/<stream>`
`Models and labels`	• `detection-model`：检测模型的路径。 • `detection-labels`：检测标签的路径。 • `pose-model`：姿态模型的路径。 • `pose-labels`：姿态标签的路径。 • `segmentation-model`：分割模型的路径。 • `segmentation-labels`：分割标签的路径。 • `classification-model`：分类模型的路径。 • `classification-labels`：分类标签的路径。

多流推理

说明：gst-ai-multistream-inference 应用程序展示对来自摄像头、文件或 RTSP 流的最多 32 路输入流进行 AI 推理（目标检测和分类）。下图展示了该管线，它接收多路输入流，对其进行预处理，运行 AI 推理，组合各路流，并将它们全部合并为单一视频输出。经 1080P 和 720P 验证，每个 SoC 支持的最大输入流数量如下：

QCS6490——8
Dragonwing IQ-8275——16
Dragonwing IQ-9075——32
由于不支持 CPU 运行时，此应用程序在 QLI 2.0 版本的 Config #1 中不受支持。
输出显示在 HDMI 显示器上、保存为 H.264 编码的 MP4 文件，或转换为 RTSP 流。

有关此管线中使用的插件的信息，请参阅管线流程。

应用程序： gst-ai-multistream-inference

试一试

输入和输出能力

配置	文件源	RTSP	USB 摄像头	MIPI 摄像头	文件输出	显示	RTSP 输出
Config #2	是	是	否	是	是	是	是

示例模型和标签文件

运行时	模型文件	标签文件
LiteRT	检测：`yolox_quantized.tflite` 分类：`inception_v3_quantized.tflite`	检测：`yolox.json` 分类：`classification.json`

在目标设备上运行应用程序

下载资源

确保您已完成前提条件。这会将所有必需的资源下载到目标设备。

运行应用程序

gst-ai-multistream-inference --config-file=/etc/configs/config-multistream-inference.json

示例应用程序使用 /etc/configs/config-multistream-inference.json 文件读取输入参数。要显示所有可用选项：

gst-ai-multistream-inference -h

要停止使用场景，按 CTRL + C。

配置

gst-ai-multistream-inference 应用程序使用 /etc/configs/config-multistream-inference.json 文件。请更新其属性以匹配您的模型、输入流和输出。有关所有字段，请参阅配置 JSON 字段说明。

{
  "input-file-path": ["<input file 1>", "<input file 2>"],
  "input-rtsp-path": ["<rtsp stream 1>", "<rtsp stream 2 >"],
  "input-type": "<h264 or h265>",
  "model": "<path to model file>",
  "labels": "<path to label file>",
  "output-display": "<0 or 1>",
  "output-file-path": "<output file path>",
  "output-ip-address": "<ip address of test kit>",
  "output-port-number": "<port number over which rtsp stream can be listened>",
  "use-case": "<0 or 1>"
}

如果观察到性能下降，可以使用 YOLOv8 LiteRT 模型。有关 YOLOv8 导出说明，请参阅前提条件。

可用配置

Config #2

对 8 路 H.264 文件输入进行目标检测、LiteRT 模型、DSP 运行时

{
  "input-file-path":
    [
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4",
      "/etc/media/video.mp4"
    ],
  "model": "/etc/models/yolox_quantized.tflite",
  "labels": "/etc/labels/yolox.json",
  "input-type": "h264",
  "output-display": 1,
  "use-case": 0
}

预期输出

管线流程

下表列出了元数据解析器管线中使用的插件：

插件	说明
`qticamsrc`	• 从摄像头捕获实时流。 • 使用 `tee` 分流以进行推理。
`filesrc`	• 使用 `filesrc` 捕获视频流，随后由 `qtdemux` 对流进行解复用。 • 使用 `tee` 分流以进行推理。
`rtspsrc`	• 使用 `rtspsrc` 捕获 RTSP 流，随后由 `rtph264depay` 提取视频。 • 使用 `tee` 分流以进行推理。
`h264parse`	• 解析 H.264 视频。
`v4l2h264dec`	• 解码视频。
`qtimlvconverter`	1. 在其 sink pad 上接收视频流。 2. 对流数据执行以下预处理。当模型的输入需要浮点值时执行该预处理： • 颜色转换 • 缩放（放大或缩小） • 归一化 3. 在其 source pad 上将预处理后的视频流转换为张量流。张量流用于管线后续阶段的推理。
`qtimltflite`	1. 推理运行时在其 sink pad 上接收张量流后运行推理。 2. 在其 source pad 上产生包含推理结果的张量流。
`qtimlpostprocess`	处理来自任何目标检测、分类、姿态检测和分割模型的推理结果。检测使用场景： • 对选定数量的结果应用阈值。 • 加载 YOLOv8 模块。 • 产生仅包含可叠加在目标上的边界框的视频帧，并将其发送到 `qtivcomposer` 的 sink pad。分类使用场景： • 对选定数量的结果应用阈值。 • 加载 MobileNet-softmax 模块。 • 以带分类标签的视频帧形式产生结果，并将其发送到 `qtivcomposer` 的 sink pad。
`qtivcomposer`	1. 用其各 sink pad 上的内容合成帧。 2. 将包含这些合成帧的 GStreamer 缓冲区推送到其 source pad。
`waylandsink`	1. `waylandsink` 将其 sink pad 上接收到的视频流提交给 Weston。 2. Weston 在本地显示器上渲染视频流。
`filesink`	1. 在其 sink pad 上接收视频流。 2. 将流保存为 H.264 编码的 MP4 文件。
`qtirtspbin`	1. 作为网络接收器。 2. 向网络传输 UDP 数据包。

配置 JSON 字段说明

字段	值/说明
`Input source`	使用以下输入源之一： • `num-camera`：来自摄像头的输入数量。 • `camera`：当 `num-camera=1` 时的输入摄像头。 • `input-file-path`：视频文件的目录路径。 • `input-rtsp-path`：RTSP 流的地址：`rtsp://<ip>:<port>/<stream>`
`input-type`	文件和 RTSP 输入的视频编码类型： • `H.264` • `H.265`
`Output`	使用以下输出之一： • `output-file-path`：保存输出文件的目录路径。 • `output-ip-address`：可播放 RTSP 流的设备的 IP 地址。 • `output-port-number`：可播放 RTSP 流的设备的端口号。 • `output-display`：用于预览的已连接显示设备。选择 `1` 以启用此选项。

​前提条件

​运行多媒体示例应用程序

​多摄像头流式传输或编码（行车记录仪）

​运行应用程序

​预期输出

管线流程

​多通道视频解码与合成（视频墙）

​运行应用程序

​预期输出

管线流程

​运行 AI 示例应用程序

​下载并传输 AI 模型和标签

​AI 目标检测

​输入和输出能力

​示例模型和标签文件

​在目标设备上运行应用程序

​配置

​预期输出

管线流程

配置 JSON 字段说明

​并行 AI 推理

​输入和输出能力

​示例模型和标签文件

​在目标设备上运行应用程序

​配置

​预期输出

管线流程

配置 JSON 字段说明

​多流推理

​输入和输出能力

​示例模型和标签文件

​在目标设备上运行应用程序

​配置

​预期输出

管线流程

配置 JSON 字段说明

前提条件

运行多媒体示例应用程序

多摄像头流式传输或编码（行车记录仪）

运行应用程序

预期输出

多通道视频解码与合成（视频墙）

运行应用程序

预期输出

运行 AI 示例应用程序

下载并传输 AI 模型和标签

AI 目标检测

输入和输出能力

示例模型和标签文件

在目标设备上运行应用程序

配置

预期输出

并行 AI 推理

输入和输出能力

示例模型和标签文件

在目标设备上运行应用程序

配置

预期输出

多流推理

输入和输出能力

示例模型和标签文件

在目标设备上运行应用程序

配置

预期输出