在指定 NPU 上运行(QCS9075) - Qualcomm Dragonwing Documentation

Dragonwing IQ-9075 EVK 包含两个强大的 NPU,均可用于运行模型。默认情况下,LLM/VLM 模型在 NPU0 上运行,但您也可以将模型运行在 NPU1 上。为此,请进入您在模型设置期间配置的模型目录,您应该会看到一个名为 htp_backend_ext_config.json 的文件。

在此示例中,我们查看文件 ~/models/qwen3_4b_instruct_2507/htp_backend_ext_config.json:

htp_backend_ext_config.json

{
    "devices": [
        {
            "soc_model": 43,
            "dsp_arch": "v73",
            "cores": [
                {
                    "core_id": 0,
                    "perf_profile": "burst",
                    "rpc_control_latency": 100
                }
            ]
        }
    ],
    "memory": {
        "mem_type": "shared_buffer"
    },
    "context": {
        "weight_sharing_enabled": true
    }
}

要指定在哪个 NPU 上运行,请在启动容器之前,按如下方式添加 "device_id" 行,并将其设置为 0(NPU0 - 默认)或 1(NPU1)。

htp_backend_ext_config.json configured to NPU1

{
    "devices": [
        {
            "device_id": 1,
            "soc_model": 43,
            "dsp_arch": "v73",
            "cores": [
                {
                    "core_id": 0,
                    "perf_profile": "burst",
                    "rpc_control_latency": 100
                }
            ]
        }
    ],
    "memory": {
        "mem_type": "shared_buffer"
    },
    "context": {
        "weight_sharing_enabled": true
    }
}

此方法仅适用于 IQ-9075 EVK,因为它拥有双 NPU。RB3 Gen2 Vision Kit 和 RUBIK Pi 3 等设备只有单个 NPU,因此本节内容不适用。