Dragonwing IQ 产品集成了 CPU、GPU 和 Hexagon NPU 以进行异构计算,并针对大语言模型 (LLM)、视觉和多模态 AI 任务进行了优化。领先的 GenAI 模型——包括 Llama、Whisper、Stable Diffusion 和 LLaVA——均支持在机器人、零售和工业自动化等 IoT 场景中使用。
为实现响应迅速的 LLM 性能,Dragonwing IQ 通过预填充加速和自推测解码等技术支持数十亿参数的模型。要启用引入自有模型 (BYOM) 工作流并简化部署,请使用 Qualcomm AI Hub、Qualcomm AI Runtime SDK 执行提供程序和 Qualcomm Generative AI Inference Extensions (Genie)。
为什么设备端 GenAI 重要
Dragonwing 上的生成式 AI 在边缘提供上下文感知、自适应且保护隐私的解决方案,支持自动化、个性化和运营效率,适用于自主无人机、预测性维护、多模态代理和设备端检索增强生成 (RAG) 等用例。开始使用
选择与您的 GenAI 工作流相匹配的选项。准备 GenAI 模型
为 Qualcomm Dragonwing IoT 设备上的执行准备 GenAI 模型。
运行 GenAI 模型
在 Qualcomm Dragonwing IoT 设备上运行准备好的 GenAI 模型。
将 GenAI 模型与 Genie 结合使用
使用 Qualcomm Generative AI Inference Extensions (Genie) 准备、管理和执行 GenAI 模型。
使用 Qualcomm OpenAI 容器的 LLM/VLM
部署 Qualcomm 兼容 OpenAI 的 LLM/VLM 容器,在 NPU 上运行大语言模型和视觉语言模型。
开发 GenAI 应用
基于 Qualcomm 示例应用构建您自己的 GenAI 应用。