**开始之前:**必须已安装 QIM SDK——请参阅安装指南。
视觉 AI 管线的 5 个基本阶段
下图展示了典型视觉 AI 管线的五个阶段。⚡ 高亮显示的步骤由 QIM SDK 提供硬件加速。
1
数据源
从所选媒体源捕获帧,确保兼容性和高效的数据采集。
2
AI 预处理
通过调整大小、重新格式化以及将像素数据归一化为模型期望的张量格式,为 AI 模型准备原始帧。QIM SDK 使用 qtimlvconverter 插件加速这一步骤,该插件直接在 GPU 上执行色彩空间转换和张量布局变换——在推理之前消除 CPU 瓶颈。
3
AI 推理
将准备好的张量输入 AI 模型以生成预测。QIM SDK 使用 qtimltflite 和 qtimlqnn 插件加速推理,这些插件将计算委托给设备端的 NPU 或 HTP——在不增加 CPU 负担的情况下提供低延迟、高吞吐量的推理。
4
后处理
将模型的输出张量解码为可操作的结果——例如边界框、类别标签、置信度分数或分割掩码。QIM SDK 的 qtimlpostprocess 插件解读模型输出并将其格式化为元数据,随后可以使用 GPU 加速的 qtivoverlay 插件将其渲染到视频帧上。
5
使用 AI 元数据
使用结构化的 AI 元数据输出来驱动下游工作流。常见应用包括:
- 视频叠加 — 将边界框、标签或掩码直接绘制在帧上,实现实时可视化
- 流增强 — 将元数据嵌入 RTSP 或 WebRTC 流中,用于远程监控
- 云/边缘消息传递 — 发布到 MQTT、Kafka 或其他后端,用于存储、告警或进一步分析
- 自动化操作 — 根据检测结果触发事件或控制外部系统

