将 ONNX 模型导出为 LiteRT - Qualcomm Dragonwing Documentation

您可以将 ONNX 模型转换为 LiteRT 格式,并针对设备端推理进行优化。将 ONNX 模型转换为 LiteRT 是一个两步过程: ONNX → TensorFlow (SavedModel) → LiteRT

将 ONNX 模型转换为 TensorFlow

使用 onnx-tf 模块将 ONNX 模型转换为 TensorFlow SavedModel。这是常用且稳定的方法。

安装所需依赖

pip install onnx onnx-tf tensorflow

将 ONNX 模型转换为 TensorFlow SavedModel 格式

onnx_model_path=my_model.onnx
tf_model_path=tf_model
onnx-tf convert -i ${onnx_model_path} -o ${tf_model_path}

将 TensorFlow 转换为 LiteRT

将 TensorFlow SavedModel 转换为 LiteRT 格式:

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model("tf_model")
tflite_model = converter.convert()

with open("model.tflite", "wb") as f:
    f.write(tflite_model)

量化模型

要量化转换后的 LiteRT 模型以提升 NPU 上的性能,请参阅使用全整数量化对模型进行量化。

​将 ONNX 模型转换为 TensorFlow

​将 TensorFlow 转换为 LiteRT

​量化模型

将 ONNX 模型转换为 TensorFlow

将 TensorFlow 转换为 LiteRT

量化模型