对 LiteRT 模型进行基准测试 - Qualcomm Dragonwing Documentation

LiteRT 开源框架提供了 benchmark_model 工具，用于使用委托测量硬件上的模型执行性能。该工具与其他 LiteRT 构件一起安装在目标设备上。该工具测量并报告以下性能指标：

初始化时间
推理时间（预热和稳态）
初始化期间的内存使用
总体内存使用

前提条件

在运行基准测试之前，请确保您已准备好以下内容：

一台运行 Ubuntu 22.04 的主机
一个 Qualcomm 开发套件

设置模型文件

下载示例模型、标签文件和测试图像

下载并解压 MobileNet 模型归档

在主机上：

wget http://download.tensorflow.org/models/mobilenet_v1_2018_08_02/mobilenet_v1_1.0_224_quant.tgz

tar -xvf mobilenet_v1_1.0_224_quant.tgz

wget https://storage.googleapis.com/download.tensorflow.org/models/mobilenet_v1_1.0_224_frozen.tgz

tar -xvf mobilenet_v1_1.0_224_frozen.tgz

在目标设备上创建 artifacts 目录

ssh ubuntu@<IP_ADDRESS_OF_TARGET_DEVICE>

sudo mount -o remount,rw /

mkdir -p /home/ubuntu/artifacts

exit

将模型、图像和标签文件复制到设备

在主机上：

scp mobilenet_v1_1.0_224_quant.tflite grace_hopper.bmp mobilenet_v1_1.0_224/labels.txt mobilenet_v1_1.0_224.tflite ubuntu@<IP_ADDRESS_OF_TARGET_DEVICE>:/home/ubuntu/artifacts

示例应用程序使用在包含 1000 个类别的 ImageNet 数据集上训练的 MobileNet v1 模型作为示例分类模型。

在 CPU 上进行基准测试

label_image 示例应用程序与 LiteRT 库交叉编译，并安装在目标设备上。源代码可在 TensorFlow GitHub 仓库中获取。要使用 XNNPACK 委托在 CPU 上进行基准测试：

ssh ubuntu@<IP_ADDRESS_OF_TARGET_DEVICE>

cd /home/ubuntu/artifacts

benchmark_model --graph=/home/ubuntu/artifacts/mobilenet_v1_1.0_224_quant.tflite \
                --enable_op_profiling=true \
                --use_xnnpack=true \
                --num_threads=4 \
                --max_secs=300 \
                --profiling_output_csv_file=/home/ubuntu/artifacts/mobilenet_v1_1.0_224_quant_xnnpack_performance.csv

在 GPU 上进行基准测试

要使用 GPU 委托进行基准测试：

ssh ubuntu@<IP_ADDRESS_OF_TARGET_DEVICE>

cd /home/ubuntu/artifacts

benchmark_model --graph=/home/ubuntu/artifacts/mobilenet_v1_1.0_224_quant.tflite \
                --enable_op_profiling=true \
                --use_gpu=true \
                --num_runs=100 \
                --warmup_runs=10 \
                --max_secs=300 \
                --profiling_output_csv_file=/home/ubuntu/artifacts/mobilenet_v1_1.0_224_GPU_Delegate_performance.csv

使用 QAIRT 委托在 NPU 上进行基准测试

Qualcomm AI Runtime 委托使用 Qualcomm AI Runtime API 及其后端，在 Adreno GPU 和 Hexagon 张量处理器上加速模型。要使用 QAIRT 外部委托，请确保设备上有以下库：

libQnnTFLiteDelegate.so — QNN 委托库
Qualcomm AI Engine Direct SDK 中的库

您可以通过外部委托选项自定义模型执行以使用特定后端：

libQnnGpu.so — 在 GPU 上运行 QNN 委托
libQnnHtp.so — 在 Hexagon 张量处理器上运行 QNN 委托
libQnnDsp.so — 在 DSP 上运行 QNN 委托

要使用 QNN 外部委托在 Hexagon 张量处理器上进行基准测试：

QCS6490/QCS5430、IQ-9075 和 QCS8275
IQ-615

benchmark_model --graph=/home/ubuntu/artifacts/mobilenet_v1_1.0_224_quant.tflite \
                --external_delegate_path=/usr/lib/libQnnTFLiteDelegate.so \
                --external_delegate_options='backend_type:htp;library_path:/usr/lib/libQnnHtp.so;skel_library_dir:/usr/lib/rfsa/adsp;htp_precision:0;htp_performance_mode:2'

benchmark_model --graph=/usr/share/label_image/mobilenet_v1_1.0_224_quant.tflite \
                --external_delegate_path=libQnnTFLiteDelegate.so \
                --external_delegate_options='backend_type:dsp;library_path:/usr/lib/libQnnDsp.so;skel_library_dir:/usr/lib/dsp/adsp'

IQ-615 上的基准测试目前失败。

基准测试输出包含以下统计信息：

委托创建状态
使用委托时硬件上的平均推理时间
模型执行的内存占用

benchmark_model 工具输出，显示委托状态、推理时间和内存占用 — benchmark_model 工具统计信息

​前提条件

​设置模型文件

​在 CPU 上进行基准测试

​在 GPU 上进行基准测试

​使用 QAIRT 委托在 NPU 上进行基准测试

前提条件

设置模型文件

在 CPU 上进行基准测试

在 GPU 上进行基准测试

使用 QAIRT 委托在 NPU 上进行基准测试