运行图像分类示例应用程序

​

下载模型和标签文件

1. 在设备上启用 Wi-Fi 和 SSH。 设备需要互联网连接才能下载运行示例应用程序所需的构件。如果已配置 SSH 和 Wi-Fi，请跳过此步骤。 按照设置 SSH 连接在设备上启用 Wi-Fi 和 SSH。
2. 在主机上，设置用户环境变量：
   export USER=root
   
3. 使用 SSH 登录目标设备：
   ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>
   
4. 在目标设备上，下载并运行 download_artifacts.sh 脚本以下载模型和标签文件：
   cd /tmp
   curl -fsSL https://raw.githubusercontent.com/qualcomm/sample-apps-for-qualcomm-linux/refs/heads/main/qualcomm-linux/scripts/download_artifacts.sh | bash
   
5. （可选）下载 YOLOv8 模型，该模型不包含在默认下载中。 使用以下方法之一：
   • 使用脚本下载
   • 使用 AI Hub API 导出
   • 生成批处理模型

   1. 创建 Qualcomm AI Hub 账户。
   2. 前往右上角的 Settings 并复制您的 API 密钥。
   3. 在主机上运行以下命令：
      curl -L -O https://raw.githubusercontent.com/qualcomm/sample-apps-for-qualcomm-linux/refs/heads/main/qualcomm-linux/scripts/export_model.sh
      chmod +x export_model.sh
      
      将 <API_KEY> 替换为您的 API 密钥：
      ./export_model.sh --api-key=<API_KEY>
      
      模型将下载到 export_assets 目录。
   4. 将模型复制到设备上的 /etc/models/ 目录：
      scp <working-directory>/export_assets/yolov8_det-tflite-w8a8/yolov8_det.tflite $USER@<IP_ADDRESS_OF_TARGET_DEVICE>:/etc/models/
      

   使用 AI Hub 中的 YOLOv8-Detection-Quantized 模型。当前版本使用以下 SDK 版本：

   • Qualcomm Linux（GA 2.0）：Qualcomm AI Runtime SDK v2.47.0.260601

   例如，要导出 YOLOv8 QNN 模型，请运行：

   python -m qai_hub_models.models.yolov8_det.export --quantize w8a8 --target-runtime=qnn_context_binary --device="Dragonwing RB3 Gen 2 Vision Kit" --compile-options="--qairt_version 2.45" --profile-options "--qairt_version 2.45"
   

   更新 --qairt_version 以匹配目标设备上安装的版本。要查看已安装的版本：

   qairt-net-run --version
   

   要列出 AI Hub 支持的用于导出命令的 QAIRT SDK 版本，请在主机设备上运行以下命令：

   qai-hub list-frameworks
   

   要列出支持的设备，请在主机设备上运行以下命令：

   qai-hub list-devices
   

   例如，要导出 YOLOv8 LiteRT 模型，请运行：

   python -m qai_hub_models.models.yolov8_det.export --quantize w8a8 --target-runtime=tflite --device="Dragonwing RB3 Gen 2 Vision Kit"
   

   要更改批处理大小，请在以下导出命令中更新 <N>：

   python -m qai_hub_models.models.<Model_Name>.export --batch-size <N> --device="Dragonwing RB3 Gen 2 Vision Kit"
   

   例如，要导出批处理大小为 4 的 YOLOv8 LiteRT 模型：

   python -m qai_hub_models.models.yolov8_det.export --quantize w8a8 --target-runtime=tflite --device="Dragonwing RB3 Gen 2 Vision Kit" --batch-size 4
   

​

运行示例应用程序

1. 在主机上，设置用户环境变量：
   export USER=root
   
2. 使用 SSH 登录设备：
   ssh $USER@<IP_ADDRESS_OF_TARGET_DEVICE>
   
3. 运行示例应用程序：
   gst-ai-classification --config-file=/etc/configs/config_classification.json
   
   有关配置字段或可用选项的更多信息，请使用帮助命令：
   gst-ai-classification -h
   

​

配置应用程序

{
  "file-path": "<path-to-input-video>",
  "ml-framework": "<snpe or tflite or qnn or onnx>",
  "model": "<path-to-model-file>",
  "labels": "<path-to-label-file>",
  "threshold": "<postprocessing threshold, integer value from 1 to 100>",
  "runtime": "<dsp, gpu, or cpu>",
  "output-type": "<waylandsink, filesink, or rtspsink>"
}

{
  "file-path": "/etc/media/video.mp4",
  "ml-framework": "tflite",
  "model": "/etc/models/inception_v3_quantized.tflite",
  "labels": "/etc/labels/classification.json",
  "threshold": 40,
  "runtime": "dsp"
}

​

注意事项

• 要停止应用程序，请按 Ctrl+C。
• 要启用 GStreamer 调试日志，请设置 GST_DEBUG 环境变量。例如，要记录所有警告：
  export GST_DEBUG=2
  
  有关更多故障排除选项，请参阅故障排除。