使用 Qualcomm 生成式 AI（GenAI）推理扩展（Genie）运行 GenAI 模型

​

使用 Genie 运行 LLM

​

前提条件

• 模型包已针对正确的后端（CPU 或 NPU）导出并准备完成，且包含 AI Engine Direct（QNN）二进制文件、分词器文件和配置文件。
• 目标设备上已安装 QAIRT，且 Genie 工具和库作为 SDK 的一部分可用。
• 目标硬件使用具有充足内存的 Qualcomm 平台（RAM 和存储，用于复制和执行模型二进制文件）。

genie-t2t-run -c genie_config.json -p "Tell me about Qualcomm" 

1. 从主机使用目标设备的 IP 地址连接到目标设备。
   ssh root@<IP_ADDRESS_OF_TARGET_DEVICE>
   
2. 在目标设备上，在上一步的 SSH 会话中，创建一个用于保存模型制品的目录：
   mkdir -p /tmp
   
3. 从主机将运行模型所需的库和二进制文件推送到目标设备。
   scp ${QNN_SDK_ROOT}/bin/aarch64-oe-linux-gcc11.2/genie-t2t-run root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libGenie.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtp.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnSystem.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtpPrepare.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtpNetRunExtensions.so root@<TARGET_IP>:/tmp/
   
   在以下命令中，将 <ARCHITECTURE> 替换为 DSP Hexagon 架构库版本。

   设备	架构
   IQ-8275	75
   IQ-9075/QCS9100	73
   Qualcomm Dragonwing™ RB3 Gen 2	68

   scp ${QNN_SDK_ROOT}/lib/aarch64-oe-linux-gcc11.2/libQnnHtpV<ARCHITECTURE>Stub.so root@<TARGET_IP>:/tmp/
   
   scp ${QNN_SDK_ROOT}/lib/hexagon-v<ARCHITECTURE>/unsigned/libQnnHtpV<ARCHITECTURE>Skel.so root@<TARGET_IP>:/tmp/
   
4. 从主机将模型二进制文件和配置文件推送到目标设备。
   scp <path to htp_backend_ext_config.json> root@<TARGET_IP>:/tmp/
   
   scp <path to genie_config.json> root@<TARGET_IP>:/tmp/
   
   scp <path to tokenizer.json> root@<TARGET_IP>:/tmp/
   
   scp <path to model bin files> root@<TARGET_IP>:/tmp/
   
5. 在目标设备上运行模型。
   export LD_LIBRARY_PATH=/tmp/
   
   export PATH=$LD_LIBRARY_PATH:$PATH
   
   cd $LD_LIBRARY_PATH
   
   ./genie-t2t-run -c <path to genie_config.json> -p "What's the most popular cookie in the world?"
   

​

使用 Genie 运行多模态模型

• Genie Node API：用于创建各个模块。每个节点的创建都需要一个独立的 JSON 配置，类似于对话（dialog）配置。
  • text-encoder
  • image-encoder
  • text-generator
• Genie Pipeline API：用于连接节点并简化执行。Genie 管线管理 内部数据类型转换、重新量化和拼接操作。

​

Genie 管线阶段

1. 创建节点。 a. 创建节点配置。节点 JSON 配置因节点类型而异。 更多信息，请参阅 node JSON

Genie_Status_t GenieNodeConfig_createFromJson(const char* str, 
                                              GenieNodeConfig_Handle_t* configHandle);

1. 创建节点。

Genie_Status_t GenieNode_create(const GenieNodeConfig_Handle_t nodeConfigHandle, 
                                GenieNode_Handle_t* nodeHandle);

1. 构建管线。 a. 从节点配置创建管线。

Genie_Status_t GeniePipelineConfig_createFromJson(const char* str, 
                                                  GeniePipelineConfig_Handle_t* configHandle);

1. 将节点添加到管线中。

Genie_Status_t GeniePipeline_create(const GeniePipelineConfig_Handle_t configHandle, 
                                    GeniePipeline_Handle_t* pipelineHandle);

1. 连接节点。
   • 每种节点类型都有一组预定义的 IO 名称。这些定义在 GenieNode.h 中。 例如，文本生成器节点具有两个可能输入之一和一个输出：
     • 输入：GENIE_NODE_TEXT_GENERATOR_TEXT_INPUT
     • 输入：GENIE_NODE_TEXT_GENERATOR_EMBEDDING_INPUT
     • 输出：GENIE_NODE_TEXT_GENERATOR_TEXT_OUTPUT

• Genie 管线的 connect API 定义了从一个生产者节点输出到一个 消费者节点输入的连接。例如：

GeniePipeline_connect(pipelineHandle, 
                      lutEncoder, 
                      GENIE_NODE_TEXT_ENCODER_EMBEDDING_OUTPUT,
                      textGenerator,
                      GENIE_NODE_TEXT_GENERATOR_EMBEDDING_INPUT)

1. 运行管线。 a. 为输入节点设置数据。

Genie_Status_t GenieNode_setData(const GenieNode_Handle_t nodeHandle, 
                                 const GenieNode_IOName_t nodeIOName, 
                                 const void* data, 
                                 const size_t dataSize, 
                                 const char* dataConfig);

• 使用预定义的 IO 名称（与 connect API 中相同）
• IO 名称隐式定义了数据类型

1. 运行管线。

Genie_Status_t GeniePipeline_execute(const GeniePipeline_Handle_t pipelineHandle, 
                                     void* userData);

• 注册到输出节点的回调将返回输出。

​

Genie API

• GeniePipeline：通过将分词器、引擎、采样器 和其他节点链接成可运行的管线来编排整个推理工作流。它管理文本生成 或嵌入任务的数据流和执行顺序。
• GenieNode：表示管线中的单个处理单元（分词器、引擎）。 节点封装了特定功能，可用于构建自定义推理图。
• GenieDialog：面向对话任务的高级抽象。它使用 JSON 配置将分词器、 模型、后端和采样器连接在一起，并提供用于 token 生成和嵌入的 API。
• GenieEmbedding：处理用于检索增强生成（RAG）或语义搜索的嵌入查询。 使用已加载的模型将输入文本转换为稠密向量表示。
• GenieProfile：存储配置和运行时参数，例如后端选择、采样策略 和性能设置。配置文件（profile）允许在不同的推理设置之间快速切换。
• GenieSampler：实现解码策略（例如贪婪解码、top-k 或 top-p 采样），将 模型 logits 转换为输出 token。支持高级加速技术，如推测解码（SPD）、 自推测解码（SSD）和前瞻解码（LADE）。
• GenieEngine：在所选后端（HTP、GenAI transformer 或 CPU）上执行模型前向传播。 它管理图执行、内存分配和硬件加速。
• GenieTokenizer：在推理过程中将文本转换为 token ID 并转换回文本。与特定于模型的 词表配合工作，并支持多轮对话的高效编码/解码。