企业官网建设流程全解析

W8A8 量化（8 位权重 + 8 位激活）是当前部署超大模型最常用的模型压缩方案之一。本仓库DeepSeek-R1-W8A8就是基于 vLLM Ascend 官方量化流程产出的 DeepSeek-R1 量化版本：权重从 BF16 压缩为 INT8，激活值在推理时动态量化为 INT8，用约一半的显存/内存开销换更可落地的推理成本。下面带你快速看懂它是什么、怎么压缩的、文件里都有什么。

一、什么是 W8A8 量化？🔍

先拆词：

• W8（Weight 8-bit）：模型权重以 8 位整数（INT8）存储，替代默认的 BF16（每参数 2 字节）。
• A8（Activation 8-bit）：前向传播时的激活值也量化到 INT8，让矩阵乘法可以直接跑在 INT8 计算单元上。
• dynamic（动态量化）：激活值不提前离线量化，而是运行时按当前数据范围动态计算缩放因子（scale），精度损失更小。

为什么 INT8 对大模型这么重要？

DeepSeek-R1 是 MoE（混合专家）架构，总参数量超过 6000 亿。BF16 全精度权重就需要数百 GB 内存，而 W8A8 后权重体积直接减半，配合昇腾 NPU 的 INT8 计算加速，推理吞吐还能进一步提升——这也是它被选作vLLM Ascend CI 测试专用模型的原因（见 README.md）。

💡 简单理解：W8 省的是"存"，A8 提的是"算"，两者结合才是完整的 W8A8。

二、DeepSeek-R1-W8A8 是如何压缩的？⚙️

打开 config.json，量化策略直接写在配置里：

"quantize": "w8a8_dynamic", "mla_quantize": "w8a8"

• quantize: w8a8_dynamic：主干网络采用W8A8 动态量化，权重离线转 INT8，激活运行时动态量化；
• mla_quantize: w8a8：DeepSeek 标志性的MLA（Multi-head Latent Attention，多头潜注意力）模块同样按 W8A8 量化；
• torch_dtype: bfloat16保留为原始精度标记，供框架识别基座模型类型。

也就是说，这个仓库不是简单"存一半"，而是把注意力、MoE 专家、MLA 潜空间投影等关键算子都纳入了 INT8 推理路径。

三、仓库文件结构速览 📦

两个值得注意的细节：

1. MTP 层未量化：mtp_float-*.safetensors保持浮点格式。多 token 预测模块参数量小但对投机解码的命中率敏感，保留高精度是常见取舍；
2. 权重分片多达 158 个：超大 MoE 模型按张量切分存储，配合 index 文件按需加载，是超大模型的标准工程做法。

四、如何获取这个量化模型？🚀

仓库使用 Git LFS 管理大文件（见 .gitattributes），克隆时会自动拉取权重：

git clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-R1-W8A8

⚠️ 按 README.md 的说明，此模型仅用于 vLLM Ascend CI 测试，不建议用于正式验证或产品集成；量化原理可参考 vLLM Ascend 官方文档中的 Quantization 章节。

五、写在最后：3 句话记住 W8A8 ✅

• W8 = 权重 INT8，存储减半，直接决定模型放不放得下；
• A8 = 激活 INT8，动态量化保证运行时精度，同时吃到 INT8 算力加速；
• DeepSeek-R1-W8A8是完整的 W8A8 动态量化实践样本：158 个量化权重分片 + 浮点 MTP 层 + 完整 tokenizer，是学习大模型量化的好材料。

如果你想在自己的昇腾环境跑通 W8A8 推理，下一步建议从 vLLM Ascend 的量化用户指南入手，对照本仓库的config.json中的quantize参数逐一核对。