将 ONNX 模型导出为 LiteRT - Qualcomm Dragonwing Documentation

您可以将 ONNX 模型转换为 LiteRT 格式，并针对端侧推理进行优化。将 ONNX 模型转换为 LiteRT 分为两个步骤： ONNX → TensorFlow（SavedModel）→ LiteRT

将 ONNX 模型转换为 TensorFlow

使用 onnx-tf 模块将 ONNX 模型转换为 TensorFlow SavedModel。这是常用且稳定的方法。

安装所需依赖项：
pip install onnx onnx-tf tensorflow

将 ONNX 模型转换为 TensorFlow SavedModel 格式：

onnx_model_path=my_model.onnx
tf_model_path=tf_model
onnx-tf convert -i ${onnx_model_path} -o ${tf_model_path}

将 TensorFlow 转换为 LiteRT

将 TensorFlow SavedModel 转换为 LiteRT 格式：

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model("tf_model")
tflite_model = converter.convert()

with open("model.tflite", "wb") as f:
    f.write(tflite_model)

量化模型

要对转换后的 LiteRT 模型进行量化以提升在 NPU 上的性能，请参见使用全整数量化对模型进行量化。