对 LiteRT 模型进行基准测试

LiteRT 开源框架提供了 benchmark_model 工具，用于测量模型通过 delegate 在硬件上执行的性能。此工具与其他 LiteRT 构件一起安装在目标设备上。该工具测量并报告以下性能指标：

初始化时间
推理时间（预热和稳定状态）
初始化期间的内存使用量
总体内存使用量

前提条件

在运行基准测试之前，请确保具备以下条件：

一台 Ubuntu 22.04 主机
一套 Qualcomm 开发套件

设置模型文件

下载示例模型、标签文件和一张测试图片：
- BMP 测试图片
- MobileNet LiteRT 模型

在主机上，下载并解压 MobileNet 模型归档文件：

wget http://download.tensorflow.org/models/mobilenet_v1_2018_08_02/mobilenet_v1_1.0_224_quant.tgz

tar -xvf mobilenet_v1_1.0_224_quant.tgz

wget https://storage.googleapis.com/download.tensorflow.org/models/mobilenet_v1_1.0_224_frozen.tgz

tar -xvf mobilenet_v1_1.0_224_frozen.tgz

在目标设备上，创建构件目录：

ssh root@<IP_ADDRESS_OF_TARGET_DEVICE>

mount -o remount,rw /

mkdir -p /etc/artifacts

exit

在主机上，将模型、图片和标签文件复制到设备：

scp mobilenet_v1_1.0_224_quant.tflite grace_hopper.bmp mobilenet_v1_1.0_224/labels.txt mobilenet_v1_1.0_224.tflite root@<IP_ADDRESS_OF_TARGET_DEVICE>:/etc/artifacts

在目标设备上，设置 GPU 库：

export OCL_ICD_FILENAMES=/usr/lib/libOpenCL_adreno.so.1

ln -sf /usr/lib/libOpenCL.so.1 /usr/lib/libOpenCL.so

示例应用程序使用 MobileNet v1 模型（在包含 1000 个类别的 ImageNet 数据集上训练）作为分类模型示例。

在 CPU 上进行基准测试

label_image 示例应用程序已使用 LiteRT 库交叉编译并安装在目标设备上。源代码可在 TensorFlow GitHub 仓库中获取。要在 CPU 上使用 XNNPACK delegate 进行基准测试：

ssh root@<IP_ADDRESS_OF_TARGET_DEVICE>

cd /etc/artifacts

benchmark_model --graph=/etc/artifacts/mobilenet_v1_1.0_224_quant.tflite \
                --enable_op_profiling=true \
                --use_xnnpack=true \
                --num_threads=4 \
                --max_secs=300 \
                --profiling_output_csv_file=/etc/artifacts/mobilenet_v1_1.0_224_quant_xnnpack_performance.csv

在 GPU 上进行基准测试

要使用 GPU delegate 进行基准测试：

ssh root@<IP_ADDRESS_OF_TARGET_DEVICE>

cd /etc/artifacts

benchmark_model --graph=/etc/artifacts/mobilenet_v1_1.0_224_quant.tflite \
                --enable_op_profiling=true \
                --use_gpu=true \
                --num_runs=100 \
                --warmup_runs=10 \
                --max_secs=300 \
                --profiling_output_csv_file=/etc/artifacts/mobilenet_v1_1.0_224_GPU_Delegate_performance.csv

使用 QAIRT delegate 在 NPU 上进行基准测试

Qualcomm AI Runtime delegate 使用 Qualcomm AI Runtime API 及其后端在 Adreno GPU 和 Hexagon Tensor Processor 上加速模型。要使用 QAIRT 外部 delegate，请确保设备上具有以下库：

libQnnTFLiteDelegate.so —— QNN delegate 库
来自 Qualcomm AI Engine Direct SDK 的库

您可以通过外部 delegate 选项自定义模型执行，以使用特定后端：

libQnnGpu.so —— 在 GPU 上运行 QNN delegate
libQnnHtp.so —— 在 Hexagon Tensor Processor 上运行 QNN delegate
libQnnDsp.so —— 在 DSP 上运行 QNN delegate

要使用 QNN 外部 delegate 在 Hexagon Tensor Processor 上进行基准测试：

QCS6490/QCS5430、IQ-9075 和 QCS8275
IQ-615

benchmark_model --graph=/etc/artifacts/mobilenet_v1_1.0_224_quant.tflite \
                --external_delegate_path=/usr/lib/libQnnTFLiteDelegate.so \
                --external_delegate_options='backend_type:htp;library_path:/usr/lib/libQnnHtp.so;skel_library_dir:/usr/lib/rfsa/adsp;htp_precision:0;htp_performance_mode:2'

benchmark_model --graph=/usr/share/label_image/mobilenet_v1_1.0_224_quant.tflite \
                --external_delegate_path=libQnnTFLiteDelegate.so \
                --external_delegate_options='backend_type:dsp;library_path:/usr/lib/libQnnDsp.so;skel_library_dir:/usr/lib/dsp/adsp'

目前在 IQ-615 上基准测试会失败。

基准测试输出包括以下统计信息：

Delegate 创建状态
使用该 delegate 在硬件上的平均推理时间
模型执行的内存占用

benchmark_model 工具输出，显示 delegate 状态、推理时间和内存占用 — benchmark_model 工具统计信息

简介

架构

关键文档

技术

系统

发行说明

前提条件

设置模型文件

在 CPU 上进行基准测试

在 GPU 上进行基准测试

使用 QAIRT delegate 在 NPU 上进行基准测试

​前提条件

​设置模型文件

​在 CPU 上进行基准测试

​在 GPU 上进行基准测试

​使用 QAIRT delegate 在 NPU 上进行基准测试

前提条件

设置模型文件

在 CPU 上进行基准测试

在 GPU 上进行基准测试

使用 QAIRT delegate 在 NPU 上进行基准测试