使用 Genie 运行 LLM

​

安装 AI Runtime SDK - Community Edition

# Install the SDK
wget -qO- https://cdn.edgeimpulse.com/qc-ai-docs/device-setup/install_ai_runtime_sdk.sh | bash

# Use the SDK in your current session
source ~/.bash_profile

​

查找支持的模型

• Aplux 模型库：
  1. 在 ‘Chipset’ 下选择：
     • RB3 Gen 2 Vision Kit：‘Qualcomm QCS6490’
     • RUBIK Pi 3：‘Qualcomm QCS6490’
  2. 在 ‘NLP’ 下选择 “Text Generation”。
• Qualcomm AI Hub：
  1. 在 ‘Chipset’ 下选择：
     • RB3 Gen 2 Vision Kit：‘Qualcomm QCS6490 (Proxy)’
     • RUBIK Pi 3：‘Qualcomm QCS6490 (Proxy)’
  2. 在 ‘Domain/Use Case’ 下选择 “Generative AI”。

​

运行 Qwen2.5-0.5B-Instruct

• 一个或多个 *.serialized.bin 文件——包含模型的权重。
• tokenizer.json——一个序列化配置文件，定义如何将文本拆分为 token，以及字符、子词与 LLM 使用的整数 ID 之间的映射。通常可以从 HuggingFace 上的模型空间下载。Genie 支持模型的链接列表见 quic/ai-hub-apps: LLM On-Device Deployment > Prepare Genie configs。
• 一个 Genie 配置文件——包含如何通过 Genie 运行此模型的说明。AI Hub 中模型的配置文件可以在 GitHub 上找到：quic/ai-hub-apps: tutorials/llm_on_genie/configs/genie。

1. 将模型下载到您的开发板。可以：
   • 从我们的 CDN 下载模型（仅提供 Qwen 模型）：
     wget -O qnn229_qcs6490_cl4096.zip https://cdn.edgeimpulse.com/qc-ai-docs/models/qwen2.5_0.5b_instruct_aplux_qnn229_qcs6490_cl4096.zip
     
   • 从 Aplux 模型库下载模型：
     1. 前往 Aplux 模型库：Qwen2.5-0.5B-Instruct。
     2. 注册一个 Aplux 账户。
     3. 在 ‘Device’ 下选择 QCS6490。
     4. 点击 “Download Model & Test code”。

        

     5. 下载后，通过 ssh 将 ZIP 文件推送到您的开发板：
        1. 查找开发板的 IP 地址。在开发板上运行：
           ifconfig | grep -Eo 'inet (addr:)?([0-9]*\.){3}[0-9]*' | grep -Eo '([0-9]*\.){3}[0-9]*' | grep -v '127.0.0.1'
           
           # ... Example:
           # 192.168.1.253
           
        2. 推送 .zip 文件。在您的计算机上运行：
           scp qnn229_qcs6490_cl4096.zip ubuntu@192.168.1.253:~/qnn229_qcs6490_cl4096.zip
           
2. 解压模型。在您的开发板上：
   mkdir -p ~/genie-models/
   unzip -d ~/genie-models/qwen2.5-0.5b-instruct/ qnn229_qcs6490_cl4096.zip
   rm qnn229_qcs6490_cl4096.zip
   
3. 运行您的模型：
   cd ~/genie-models/qwen2.5-0.5b-instruct/
   
   genie-t2t-run -c ./qwen2.5-0.5b-instruct-htp.json -p '<|im_start|>system
       You are Qwen, created by Alibaba Cloud. You are a helpful assistant that responds in English.<|im_end|><|im_start|>user
       What is the capital of the Netherlands?<|im_end|><|im_start|>assistant'
   
   # Using libGenie.so version 1.9.0
   #
   # [BEGIN]:
   # The capital of the Netherlands is Amsterdam.[END]
   

​

通过 QAI AppBuilder 提供 UI 或 API 服务

1. 安装 AppBuilder：
   # Build dependency
   sudo apt update && sudo apt install -y yq
   
   # Clone the repository
   git clone https://github.com/quic/ai-engine-direct-helper
   cd ai-engine-direct-helper
   git checkout 92d9cad
   git submodule update --init --recursive
   
   # Create a new venv
   python3 -m venv .venv
   source .venv/bin/activate
   
   # Build the wheel
   pip3 install setuptools
   python setup.py bdist_wheel
   pip3 install ./dist/qai_appbuilder-*-linux_aarch64.whl
   
   # Install other dependencies
   pip3 install \
       uvicorn==0.35.0 \
       pydantic_settings==2.10.1 \
       fastapi==0.116.1 \
       langchain==0.3.27 \
       langchain-core==0.3.75 \
       langchain-community==0.3.29 \
       sse_starlette==3.0.2 \
       pypdf==6.0.0 \
       python-pptx==1.0.2 \
       docx2txt==0.9 \
       openai==1.107.0 \
       json-repair==0.50.1 \
       qai_hub==0.36.0 \
       py3_wget==1.0.13 \
       torch==2.8.0 \
       transformers==4.56.1 \
       gradio==5.44.1 \
       diffusers==0.35.1
   
   # Where you've downloaded the weights, and created the config files before
   WEIGHTS_DIR=~/genie-models/qwen2.5-0.5b-instruct/
   MODEL_NAME=qwen2_5-0_5b-instruct
   
   # Create a new directory and link the files
   mkdir -p samples/genie/python/models/$MODEL_NAME
   cd samples/genie/python/models/$MODEL_NAME
   
   # Patch up config
   cp $WEIGHTS_DIR/*instruct-htp.json config.json
   jq --arg pwd "$PWD" '.dialog.tokenizer.path |= if startswith($pwd + "/") then . else $pwd + "/" + . end' config.json > tmp && mv tmp config.json
   jq --arg pwd "$PWD" '.dialog.engine.backend.extensions |= if startswith($pwd + "/") then . else $pwd + "/" + . end' config.json > tmp && mv tmp config.json
   jq --arg pwd "$PWD" '.dialog.engine.model.binary["ctx-bins"] |= map(if startswith($pwd + "/") then . else $pwd + "/" + . end)' config.json > tmp && mv tmp config.json
   
   # Symlink other files
   ln -s $WEIGHTS_DIR/*.json .
   ln -s $WEIGHTS_DIR/*okenizer.json tokenizer.json
   ln -s $WEIGHTS_DIR/*.serialized.bin .
   echo "prompt_tags_1: <|im_start|>system\nYou are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>\n<|im_start|>user\nGive me a short introduction to large language model.
   prompt_tags_2: <|im_end|>\n<|im_start|>assistant\n" > prompt.conf
   
   # Navigate back to samples/ directory
   cd ../../../..
   
   # Create empty tokenizer files, otherwise they will be downloaded... (which will fail)
   if [ ! -f genie/python/models/Phi-3.5-mini/tokenizer.json ]; then
       echo '{}' > genie/python/models/Phi-3.5-mini/tokenizer.json
   fi
   if [ ! -f genie/python/models/IBM-Granite-v3.1-8B/tokenizer.json ]; then
       echo '{}' > genie/python/models/IBM-Granite-v3.1-8B/tokenizer.json
   fi
   
2. 运行 Web UI（在 samples/ 目录中）：
   # Find the IP address of your development board
   ifconfig | grep -Eo 'inet (addr:)?([0-9]*\.){3}[0-9]*' | grep -Eo '([0-9]*\.){3}[0-9]*' | grep -v '127.0.0.1'
   
   # ... Example:
   # 192.168.1.253
   
   # Run the Web UI
   python webui/GenieWebUI.py
   
   现在在您计算机的网页浏览器中打开 http://192.168.1.253:8976 （替换为您的 IP）与模型交互。请务必先使用 “models” 下拉菜单选择模型。

   

3. 您还可以使用 OpenAI Chat Completions API 以编程方式访问此服务器。例如，通过 Python：
   1. 启动服务器（在 samples/ 目录中）：
      python genie/python/GenieAPIService.py --modelname "qwen2_5-0_5b-instruct"   --loadmodel --profile
      
   2. 在新终端中，创建一个新的 venv 并安装 requests：
      mkdir -p ~/genie-api-demo
      cd ~/genie-api-demo
      
      python3 -m venv .venv
      source .venv/bin/activate
      pip3 install requests
      
   3. 创建一个新文件 chat.py：
      import requests
      
      # if running from your own computer, replace localhost with the IP address of your development board
      url = "http://localhost:8910/v1/chat/completions"
      
      payload = {
          "model": "qwen2_5-0_5b-instruct",
          "messages": [
              {"role": "system", "content": "You are a helpful assistant."},
              {"role": "user", "content": "Explain Qualcomm in one sentence."}
          ],
          "temperature": 0.7,
          "max_tokens": 200
      }
      
      response = requests.post(url, headers={ "Content-Type": "application/json" }, json=payload)
      print(response.json())
      
   4. 运行 chat.py：
      python3 chat.py
      
      # {'id': 'genie-llm', 'model': 'IBM-Granite', 'object': 'chat.completion', 'created': 1757512757, 'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': 'Qualcomm is a leading American technology company that designs, manufactures, and markets mobile phone chips and other wireless communication products.', 'tool_call_id': None, 'tool_calls': None}, 'finish_reason': 'stop'}], 'usage': {'prompt_tokens': 0, 'completion_tokens': 0, 'total_tokens': 0}}
      
      （模型似乎总是返回 IBM-Granite，您可以忽略这一点）

​

提示与技巧

​

从 HuggingFace 下载需要身份验证的文件

1. 前往 HuggingFace 上的模型页面，登录（或注册），并填写表单以获取模型访问权限。
2. 在 https://huggingface.co/settings/tokens 创建一个具有 ‘Read’ 权限的新 HuggingFace 访问令牌，并在您的开发板上配置它：
   export HF_TOKEN=hf_gs...
   
   # Optionally add ^ to ~/.bash_profile to ensure it gets loaded automatically in the future.
   
3. 获得访问权限后，您就可以下载 tokenizer：
   wget --header="Authorization: Bearer $HF_TOKEN" https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct/resolve/main/tokenizer.json