企业官网建设流程全解析

• 人工智能
• 大模型

本文带你零基础完成开源模型Llama-3.2-3B_rai_1.8.0_medusa_1.0_npu在 NPU（神经网络处理单元）上的完整部署，涵盖模型获取、环境准备、推理启动与 Medusa 投机解码加速，即使你从未接触过国产加速卡，也能跟着步骤一次跑通。

一、先看懂项目名：它是什么

名字虽长，其实包含 4 个关键信息：

项目卡片信息可参考 README.md，权重文件的 Git LFS 管控规则见 .gitattributes。

二、部署前准备：硬件与软件清单

硬件要求

• 1 张 NPU 卡（3B 规模单卡即可承载，建议显存 ≥ 8GB）
• 良好网络带宽（模型权重有数 GB，建议内网或高速环境下载）

软件清单（按顺序安装）

1. NPU 驱动与固件（与你的芯片型号匹配）
2. CANN 异构计算工具包
3. PyTorch-Ascend
4. 推理引擎：vLLM-Ascend 或 MindIE（二选一即可）

安装完成后，执行以下命令确认 NPU 已就绪：

npu-smi info

能正常打印出设备列表，说明驱动链路没问题，可以进入下一步。

三、快速获取模型：三种方式任选

方式一：Git 克隆（推荐）

git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_medusa_1.0_npu

⚠️ 注意：权重文件通过 Git LFS 存储（规则见 .gitattributes）。如果 clone 下来的.safetensors文件只有几百字节、内容是version https://git-lfs...字样，说明 LFS 未生效，执行git lfs install && git lfs pull重新拉取即可。

方式二：ModelScope SDK 下载

pip install modelscope

from modelscope import snapshot_download model_dir = snapshot_download('amd/Llama-3.2-3B_rai_1.8.0_medusa_1.0_npu')

方式三：模型文件页面直接下载

在仓库的"模型文件"页面按需下载即可。核心文件类型如下：

• .safetensors/.bin：模型主权重
• config.json、tokenizer.json：模型与分词器配置
• Medusa 解码头权重文件（对应medusa的.pt/.bin文件）

四、NPU 上运行推理

以 vLLM-Ascend 为例，启动服务的关键在于把模型路径指向本地目录：

vllm serve /path/to/model \ --tensor-parallel-size 1 \ --dtype auto

服务启动后即可访问/v1/chat/completions接口，调用方式与 OpenAI 风格 API 完全兼容。若你使用 MindIE，只需将模型路径配置为上述下载目录后启动服务即可。

五、开启 Medusa 投机解码：让生成速度再提升

本项目最大的亮点是Medusa 投机解码头（medusa_1.0）：它在一次前向中并行预测多个后续 token，再由主模型统一校验，显著降低自回归生成的逐 token 延迟，解码阶段通常可获得 1.5×～2× 的加速。

在 vLLM 中开启只需补充投机解码配置：

vllm serve /path/to/model \ --speculative-config '{"method": "medusa", "num_speculative_tokens": 3}'

实操建议：

• num_speculative_tokens建议设为 2～3，过大反而会降低接受率
• 短文本任务（摘要、分类、信息抽取）加速收益最明显
• 开启前后用同一组 prompt 对比 tokens/s，量化真实加速比

六、常见问题排查

七、写在最后

按照"获取模型 → 校验环境 → 启动引擎 → 开启 Medusa 加速 → 排查问题"这五步，你就能把 Llama-3.2-3B_rai_1.8.0_medusa_1.0_npu 平滑部署到 NPU。3B 参数量级配合 NPU 硬件加速与投机解码，在边缘侧与小规模服务场景下性价比突出，是上手国产加速卡部署 LLM 的绝佳起点。

• 人工智能
• 大模型