企业官网建设流程全解析

• 基础模型
• 大模型
• 多模态
• 模型量化
• 模型评测
• 本地部署

Coder390（Qwen3.8-27B-Coder390-EfficientThink 后训练版）是一个 27B 多模态推理模型，本仓库一次性提供 BF16、FP8、NVFP4、INT8、INT4、GGUF 六大量化档位实测对照，同一份权重在 GPQA 178/198、MMLU 450/500、LCB 90/100 的同口径下逐项对比。无论你是单卡部署、显存吃紧，还是想追求极限速度，这篇文章都能帮你用 5 分钟选出最合适的量化档位。

💡 想要完整评测原始数据？可以 clone 本仓库：git clone https://gitcode.com/hf_mirrors/nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2

一、先认识 Coder390：一个专治"停不下来"的推理模型

Coder390 基于官方 Qwen3.8-27B 经过 SFT + SimPO 后训练得到基座，再叠加多轮 SFT 与 RLOO 强化训练。它解决的核心问题是：原版模型经常在"已经有答案"之后仍反复重推（Wait / Actually……），一路写满 94K 上下文也不给最终答案。

训练后的实测效果（同口径、全量题）：

更关键的是量化无损：BF16、动态 FP8、静态 FP8 三种精度下，GPQA 与 LCB 的得分一题不差——这意味着你为显存做出的妥协，几乎可以不付出能力代价。

名字里"390"的含义：GPQA、MMLU、LCB 三项得分都达到各自总分的 90% 档。各档位的完整实测记录见 evaluation/ 目录，例如 SCORES_STATICFP8.json、SCORES_BF16.json、SCORES_NVFP4_W4A4.json。

二、量化档位速览：一张表看懂六个家族

本仓库共 13 个可下载档位，按下表对号入座：

几个新手容易混淆的术语：

• W4A16 / W8A8 里的 W 和 A：W = 权重（Weight）位宽，A = 激活（Activation）位宽。W4A16 即"权重 4 位、激活 16 位"；W8A8 即"权重激活都 8 位"。
• BPW（bits per weight）：整包有效平均位宽，比标称位宽更真实。例如 BF16 是 16.00，FP8 是 9.00，NVFP4 约 5.93，GGUF Q2 仅 3.89。
• LynnStyle：GGUF 系列的混合精度量化方案——不同重要程度的层用不同位宽，"最低类型"标到 Q2/Q3/Q4，而非一刀切。

三、BF16 / FP8：精度优先的"无损双子星" ⭐

BF16（BF16/model-00001-of-00002.safetensors 等 12 个文件）是原始精度版本，51.8 GiB 的体积决定了它只适合双卡旗舰部署，也是所有对比的基准。

静态 FP8是本仓库的默认推荐档：

• 采用官方同款的FP8 E4M3 + 128×128 块量化（Block128），每块一个缩放因子；
• 视觉塔（333 个张量）、MTP 头、SSM 控制分支等敏感部分保留 BF16，量化只发生在 400 个 Linear 层上；
• 包内附带官方 BF16 MTP 头（FP8/mtp-bf16.safetensors）和 DFlash2 投机草稿（FP8/DFlash2-FP8/），SGLang 免补丁加载。

实测结论很干脆：BF16、动态 FP8、静态 FP8 三档 GPQA 与 LCB 完全一致，MMLU 在 445–450 之间波动属于采样噪声。FP8 只用了 BF16 约 60% 的显存，却拿到全场最高分（178/450/90）。原始分数见 evaluation/SCORES_STATICFP8.json，吞吐基准见 evaluation/BENCH_STATICFP8.json。

📌 结论：显存 ≥48GB，直接上 FP8，不需要犹豫。

四、NVFP4：单卡 24GB 跑出 90 分的 4-bit 档位

NVFP4 是面向 Blackwell 架构的 4-bit 浮点格式（E2M1 + 块缩放），本仓库提供三档（NVFP4/W4A16/、NVFP4/W4A4/、NVFP4/W4A4-W8A8/），量化元数据分别存于各档的hf_quant_config.json，SGLang 自动识别、无需加量化参数。

量化是怎么做的：三档使用同一份校准数据与 ModelOpt local-Hessian 算法——从 Coder390 自己的 RLOO 训练轨迹中选取 512 条完整推理记录（约 173.5 万 token），不含任何 GPQA / MMLU / LCB 考题，完整方法见 evaluation/NVFP4_CALIBRATION_METHOD.md。

三档的取舍逻辑：

实测结果（单卡 RTX PRO 6000）：

📌 结论：GPQA 上比 BF16 低 6–11 分是 4-bit 的真实代价，但代码能力（LCB）不降反升。显存 24GB + 用 SGLang 的场景，这是性价比之王。原始记录见 SCORES_NVFP4_W4A16.json、SCORES_NVFP4_W4A4.json、SCORES_NVFP4_MIXED.json。

五、INT8 / INT4：vLLM 阵营的最优解

这一家族只用 compressed-tensors 格式，仅 vLLM 0.28 可加载（SGLang 会报ModelOptFp8Config错误），各档自带VLLM_LOAD.json记录加载要求，如 INT8/W8A8/VLLM_LOAD.json。

INT8 W8A8（INT8/W8A8/）：SmoothQuant 按通道 INT8 权重 + 按 token 动态 INT8 激活，512 条校准样本下 NLL 仅从 0.50535 升到 0.52812（困惑度比 1.023，几乎无损）。MTP 投机头单独放在 INT8/W8A8/MTP-BF16/。实测 175/450/91，MMLU 450 与 FP8 持平。

INT8 W8A16（INT8/W8A16/）：GPTQ 对称按通道 INT8 权重 + BF16 激活。它是整个仓库 LCB 单项冠军——94/100（easy 23/23、medium 31/31、hard 40/46），代价是 GPQA 略降到 170。如果你主打竞赛编程，这一档值得优先考虑。

INT4 W4A16（INT4/W4A16/）：GPTQ INT4（group size 128），内置 BF16 MTP 头（INT4/W4A16/model_mtp.safetensors），18.1 GiB 即可在 vLLM 上开 3-token MTP 投机。实测 177/446/87——4-bit 下 GPQA 几乎无损，是 vLLM 用户的最佳小显存选择。

⚠️ vLLM 用户注意：RTX PRO 6000 Blackwell 上需禁用 Cutlass INT8 kernel（启动命令见 README.md 的 Commands 一节），FP8 档的 vLLM + MTP 组合暂不可用，建议用 SGLang。

六、GGUF：llama.cpp 与 NInfer 的本地部署全家桶

GGUF/提供 Q2 / Q3 / Q4 LynnStyle、Q6_K、Q8_0 共 8 个.gguf文件，每个都内置 MTP 投机头（Q2/Q3/Q4 为 Q4 精度头，另有-Q8MTP版本将头重编码为 Q8_0，其余张量逐字节相同）；GGUF-NInfer/则是同权重转换的.ninfer包，额外内置视觉组件（加--vision即可识图）。

关键细节：

• imatrix 校准：Q6_K 采用 512 块 imatrix 校准 + 结构保护（线性注意力ssm_alpha/ssm_beta保持 BF16，embedding 与 lm_head 用 Q8_0，MTP 头整体 Q8_0），这是低比特下保持质量的关键。
• 视觉：llama.cpp 走外挂 GGUF/mmproj-Qwen3.8-27B-Q8_0.gguf（--mmproj）；NInfer 包已内置，无需外挂。
• MTP 与 DFlash2 互斥：GGUF 家族只有内置 MTP，没有 DFlash2 草稿；DFlash2 专属 SGLang 的 BF16/FP8/NVFP4 档与NVFP4-NInfer/包。

GGUF 实测（llama.cpp，C4）：

📌 结论：Q3 以 5.07 BPW 拿下 173/449/92，是 llama.cpp / NInfer 用户闭眼选的档位；16GB 显存用 Q2，追求极致质量且显存充足用 Q6_K。

七、六大家族成绩总表：谁才是"最值"？

同一份 Coder390 权重，100K 上下文、94,208 token 生成上限、全量题（GPQA 198 / MMLU 500 / LCB 100）实测：

三点解读：

1. 量化损失远小于想象：最低 3.89 BPW 的 Q2 仍有 177/198 的 GPQA，与满血 BF16 只差 1 分；
2. 94K 截断普遍优于原版：原版 LCB 有 13 题写满上限且全部无代码，所有 Coder390 档位都降到 0–4；
3. 长推理尾巴尚未根除：思考长度 ≥48K 的题目正确率明显下降（如静态 FP8 LCB ≥48K 桶仅 2/8），这是模型层面而非量化层面的问题。

八、速度篇：MTP 与 DFlash2 两种加速怎么选 🚀

每档都支持两种互斥的投机解码：

• MTP：包内自带的 BF16 多头预测层，约 91 tok/s/请求；
• DFlash2：外挂草稿模型（约 2.4GB，各 SGLang 档内置于DFlash2-FP8/子目录），约 180 tok/s/请求；
• 不开投机：约 46 tok/s/请求。

静态 FP8 档实测（BENCH_STATICFP8.json）：

DFlash2 在所有实测并发（C1–C16）上全面胜过 MTP，单请求提速约 4 倍。并发选择口诀：交互用 C1–C4，共享服务用 C8，只拼总吞吐用 C16。NVFP4 三档的完整速度数据见 BENCH_NVFP4_W4A16.json、BENCH_NVFP4_W4A4.json、BENCH_NVFP4_MIXED.json。

九、快速选型：按你的显存抄作业 ✅

校验完整性：每个目录都带SHA256SUMS（如 FP8/SHA256SUMS、GGUF/SHA256SUMS），下载后执行sha256sum -c SHA256SUMS即可逐文件校验。

十、FAQ 常见问题 ❓

Q1：NVFP4 和 INT4 都是 4-bit，怎么选？看引擎。NVFP4 走 SGLang、支持 DFlash2 高速草稿、完整多模态；INT4 W4A16 走 vLLM、内置 MTP。同一引擎内不建议混用，格式互不通用。

Q2：为什么有些档位分数比 BF16 低？4-bit 档（NVFP4、GGUF 低档）在 GPQA 这类高难度科学推理上有 3–11 分损失，属于正常现象；但 LCB（代码）基本不降，INT8 两档甚至反超。校准数据全部来自模型自身的 RLOO 训练轨迹，未使用任何评测考题，不存在"刷分"。

Q3：.ninfer和.gguf能互相替换吗？不能。.ninfer只能被 NInfer 引擎加载（GGUF 系需 NInfer-all），GGUF-NInfer/包额外内置了视觉与 MTP；llama.cpp 只读.gguf。两者文本权重相同、分数相同，按需选择即可。

Q4：MTP 和 DFlash2 可以同时开吗？不可以，二者互斥，每次启动只能启用其一（SGLang 用--speculative-algorithm，NInfer 用--spec mtp或--spec dflash2）。能加载 DFlash2 就优先用它——所有并发档位上它都更快。

写在最后：六大档位、十三个包、同一套实测口径，这张对照表的价值在于让你"按显存和引擎直接选"，而不是再花一周自己压一遍。显存充足选 FP8，单卡 24GB 选 NVFP4 或 INT4，本地部署选 GGUF Q3——这是本仓库实测数据给出的最短路径。

• 基础模型
• 大模型
• 多模态
• 模型量化
• 模型评测
• 本地部署