> ## Documentation Index
> Fetch the complete documentation index at: https://dragonwingdocs.qualcomm.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 支持的 LiteRT 运行时

> 使用 CPU（XNNPACK）、GPU 或 NPU（Qualcomm AI Runtime）委托在 Qualcomm Dragonwing IoT 平台上运行 LiteRT 模型。

LiteRT 通过委托（delegate）支持硬件加速，委托可将图执行卸载到专用硬件。Qualcomm Dragonwing IoT 平台上可使用以下委托。

## CPU 委托

XNNPACK 委托使用 XNNPACK 库在 CPU 上加速 LiteRT 模型。XNNPACK 是 Google 的开源库，它：

* 为 Arm CPU 提供神经网络算子的优化实现。
* 使用底层 CPU 指令（例如 Arm® Neon™ 指令集）来优化算子，实现高效执行。

XNNPACK 委托支持 32 位浮点和 int8 两种格式的模型。有关更多信息，请参见 [XNNPACK back-end for TensorFlow Lite](https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/delegates/xnnpack/README.md)。

要使用 XNNPACK 委托运行 LiteRT 模型，请参见[部署 LiteRT 模型](../topic/deploy-a-litert-model#deploy-as-a-native-application)。

## GPU 委托

GPU 开源委托在特定厂商的 GPU（包括 Qualcomm Adreno GPU）上加速 LiteRT 模型。它使用 OpenCL 内核在 GPU 上运行 LiteRT 模型执行图中的神经网络运算，从而提升并行处理性能。

GPU 委托在 Adreno GPU 上支持以下模型精度：

* 16 位浮点
* 32 位浮点

有关更多信息，请参见 [GPU delegates for LiteRT](https://www.tensorflow.org/lite/performance/gpu)。

要使用 GPU 委托运行 LiteRT 模型，请参见[部署 LiteRT 模型](../topic/deploy-a-litert-model#deploy-as-a-native-application)。

## HTP 委托

Qualcomm AI Runtime 委托是专为 Qualcomm 平台硬件加速设计的专有委托。它基于 LiteRT 的[外部委托接口](https://ai.google.dev/edge/litert/performance/implementing_delegate#option_2_leverage_external_delegate)，可将 LiteRT 模型的部分或全部卸载到专用 Qualcomm 硬件，包括 Adreno GPU 和 NPU。

该委托通过减少 CPU 工作负载来提升模型执行性能和能效。它使用现有的 Qualcomm AI Runtime API 和可用后端来加速模型。有关更多信息，请参见 [Qualcomm AI Runtime（QAIRT）SDK](https://docs.qualcomm.com/doc/80-63442-10)。

Qualcomm AI Runtime 委托在可用硬件上同时支持 32 位浮点和 int8 精度。

您可以使用以下接口构建应用：

* Qualcomm AI Runtime 委托接口
* LiteRT 外部委托接口

这两种接口都可在独立的 LiteRT 应用中使用。如果您使用 Qualcomm IM SDK 部署 LiteRT 模型，`qtimltflite` GStreamer 插件将使用 QNN 委托。有关更多信息，请参见 [Leverage external delegate](https://ai.google.dev/edge/litert/performance/implementing_delegate#option_2_leverage_external_delegate)。