Skip to main content
**开始之前:**必须已安装 QIM SDK——请参阅安装指南

视觉 AI 管线的 5 个基本阶段

下图展示了典型视觉 AI 管线的五个阶段。
⚡ 高亮显示的步骤由 QIM SDK 提供硬件加速。
1

数据源

从所选媒体源捕获帧,确保兼容性和高效的数据采集。
2

AI 预处理

通过调整大小、重新格式化以及将像素数据归一化为模型期望的张量格式,为 AI 模型准备原始帧。QIM SDK 使用 qtimlvconverter 插件加速这一步骤,该插件直接在 GPU 上执行色彩空间转换和张量布局变换——在推理之前消除 CPU 瓶颈。
3

AI 推理

将准备好的张量输入 AI 模型以生成预测。QIM SDK 使用 qtimltfliteqtimlqnn 插件加速推理,这些插件将计算委托给设备端的 NPU 或 HTP——在不增加 CPU 负担的情况下提供低延迟、高吞吐量的推理。
4

后处理

将模型的输出张量解码为可操作的结果——例如边界框、类别标签、置信度分数或分割掩码。QIM SDK 的 qtimlpostprocess 插件解读模型输出并将其格式化为元数据,随后可以使用 GPU 加速的 qtivoverlay 插件将其渲染到视频帧上。
5

使用 AI 元数据

使用结构化的 AI 元数据输出来驱动下游工作流。常见应用包括:
  • 视频叠加 — 将边界框、标签或掩码直接绘制在帧上,实现实时可视化
  • 流增强 — 将元数据嵌入 RTSP 或 WebRTC 流中,用于远程监控
  • 云/边缘消息传递 — 发布到 MQTT、Kafka 或其他后端,用于存储、告警或进一步分析
  • 自动化操作 — 根据检测结果触发事件或控制外部系统