企业官网建设流程全解析

本文汇总 turboquant_plus 生态中 TQ4_1S 权重压缩方案（Config I / Hybrid / Premium 三种张量角色策略）的社区实测结果：覆盖 14+ 名独立测试者、14+ 款 GPU、13+ 个模型的压缩体积、PPL 质量损失、解码速度与权重+KV 缓存叠加压缩的完整数据。读完后你可以判断该方案是否适用于你的硬件与模型，并掌握从 Q8_0 GGUF 一键压缩、按模型家族选择配置、以及复现全部基准测试的具体操作。

TQ4_1S 是什么：一条命令的后训练权重压缩

TQ4_1S 权重压缩面向 llama.cpp 的生产 fork（TheTom/llama-cpp-turboquant，已合入 main），特点是后训练量化：无需重训练、无需校准数据，一条llama-quantize命令即可把 Q8_0 GGUF 模型压缩 28–42%。

格式原理（完整方法见论文 docs/papers/weight-compression-tq4.md）：

1. WHT 旋转：对每个 32 元素权重块做带黄金比例符号翻转的随机化 Hadamard 变换，解除坐标间相关性——与 TurboQuant KV 缓存压缩使用同一套旋转机制；
2. Lloyd-Max 量化：旋转后的每个坐标独立映射到 N(0,1) 的最近最优质心；
3. 双半块缩放：对元素 0–15 与 16–31 分别保存独立缩放因子（d0、d1）。

TQ4_1S 仅靠质心数翻倍就把量化误差降低了 72.5%。这个设计直接来自 turbo4 KV 缓存"复活"的经验：16 个最优质心 + 干净的 nibble 打包 + 无校正项，显著优于 8 质心加复杂补偿的 3+1 bit 方案。仓库内的 Python 参考实现印证了这套"旋转 + 最优标量量化"流程：代码本构造（对旋转后坐标分布用 Lloyd 算法求最优质心，1/2 bit 采用闭式解）与 PolarQuant 量化/反量化（抽取范数、旋转、最近质心索引、反旋转重缩放），快速结构化旋转（随机符号 + Hadamard，O(d log d)）则在 rotation.py 中实现。

三种配置策略（Config I / Hybrid / Premium）是核心结论：压缩"哪些张量"比"用什么数学"更重要。

社区测试范围总览

已测试模型一览

我的 GPU 能跑吗：按硬件判断

下表列出每款 GPU 成功跑过的最大压缩模型。它不是完整的"模型×GPU"矩阵——"能否装下"取决于源量化、压缩配置、KV 缓存类型与上下文长度。需要精确数据时，请参考下文各家族的 before/after 体积自行估算。

注意：CUDA 解码速度因 kernel 版本而异。社区贡献者实现的"加载时 TQ4_1S→q8_0 转换"可以绕开 CUDA kernel 瓶颈，在压缩文件体积下获得 100% 的原生 q8_0 速度——这是 CUDA 平台上的实用取巧方案。

分模型家族结果与配置选择

Qwen — Config I（完全支持）

Phi — Config I（完全支持）

Phi-4 在 Metal 上解码快 2.5 倍的原因：36% 的体积缩减把瓶颈从内存带宽推向了计算侧（M5 Max 上如此）。

Llama — 必须用 Hybrid/Premium（FFN 对 WHT 敏感）

不要对 Llama 使用 Config I。请使用 Hybrid（FFN 全部 Q4_K）或 Premium（FFN 用 Q5_K/Q6_K）。

为什么 Llama 不同：在 FFN 层中，Llama 对每层量化误差的放大效应是 Qwen/Phi 的 6–8 倍，且随深度递增——3B 的 Llama 没问题，70B 则需要 Premium。论文 docs/papers/weight-compression-tq4.md 第 5.7 节记录了完整调查：WHT 之后的权重分布在统计上与 Qwen 无差异，误差放大差异是架构性的（误差如何在残差流中传播），目前尚未完全解释，属于开放研究问题。

Mistral — Hybrid/Premium（好于预期）

Mistral 继承 LlamaModel，但质量损失远低于 Llama 70B。Premium 配置 +0.41% 的 PPL 增量实际上近乎免费。

Gemma — 可用，但 MoE 限制了权重压缩收益

Gemma 4 是 MoE 且稠密注意力层极少，权重压缩收益有限；真正的收益在 KV 缓存压缩（RTX 5090，Q4_K_XL，128k 上下文）：

节省幅度小于稠密模型，因为 Gemma 4 的混合滑窗架构把全上下文 KV 限制在 30 层中的 5 层。

注意：ffn_down请求q4_k时，在不兼容的张量形状上回退到了q5_0。

预量化 APEX-I-Quality（社区 GGUF）

mudler 的 APEX 量化集合提供预量化的 Config I GGUF，可跳过本地量化步骤。在 RTX 3050 6GB 上实测（Windows、CUDA 12.9、专家层 CPU offload）：

叠加压缩：权重 + KV 缓存

权重压缩与 TurboQuant KV 缓存压缩可以叠加，未测出额外惩罚：

独立验证一：TurboQuantDC（662 项测试，RTX 4090）

一个从零用 Python/PyTorch 实现（MIT 许可）的独立实现测试了 TQ4_1S 权重压缩 + TurboQuant KV 叠加，并跑了 600+ 配置扫描，是目前最全面的独立验证。

TQ4_1S 权重 + turbo3 KV 叠加（Llama 3.1 8B，RTX 4090）

turbo3 在同一块 GPU 上把最大上下文从约 48K 扩展到约 100K（2.1 倍）。

显存预算（Llama 3.1 8B）

单卡 RTX 4090 跑 70B（仅 KV 压缩，权重 Q2_K）

turbo3 把单张 4090 上 70B 的最大上下文从约 4K 扩展到约 16K（4 倍）。

PPL（wikitext-2，Llama 3.1 8B）

600+ 配置扫描的研究发现

备注：该测试者的环境下 TQ4_1S 的 PPL 评估会崩溃（ggml_backend_tensor_copy断言失败），速度基准正常，正在调查中。

独立验证二：WaveboSF（RTX 4090 + RTX 5090，spiritbuun fork）

对 Llama 3.1 8B Instruct Q4_K_M 使用启用 FA 标志的 fork 测试 KV 缓存压缩，覆盖两款 GPU：RTX 4090 24GB（Ada Lovelace，SM 89）与 RTX 5090 32GB（Blackwell，SM 120，CUDA 12.8）。

RTX 4090（Ada Lovelace，SM 89）

RTX 5090（Blackwell，SM 120，CUDA 12.8）

关键结论：

• 非对称 q8_0-K / turbo4-V 在两款 GPU 上都是明确赢家，prefill 与 decode 均优于对称配置；
• 对称 turbo4/turbo4 的解码惩罚在 Ada 上比非对称差近 3 倍，在 Blackwell 上差约 1.5 倍；
• Blackwell 的解码回退是结构性的，不是 bug：Ada 使用 dp4a 整数张量核心，Blackwell 使用 fp8/fp4 张量核心，架构失配使 turbo 反量化路径在 Blackwell 上的解码开销显著高于 Ada；
• LA=1（边界层高精度保护）在两款 GPU 上都同时带来质量收益和解码提速；
• 确认非对称推荐在 Ada（SM 89）与 Blackwell（SM 120）上均成立。

解码速度：分硬件汇总

为什么 CUDA 有差异：Metal 使用 V2.1 融合 kernel 且 NR0=8（把 WHT 旋转摊销到 8 行上）；CUDA 融合 kernel 更新、仍在优化中。"加载时 TQ4_1S→q8_0 转换"则完全绕开这个问题，获得 100% 原生速度。

从源码结构看，Metal 路径的关键设计是"协作式 SIMD 预旋转"：不再对每个权重块做逆 WHT，而是先用simd_shuffle_xor一次性预旋转激活向量（每元素约 10 FLOPs），随后反量化退化为质心查表 + 缩放；V2.1 融合 kernel 零 threadgroup 内存占用，最大化 threadgroup 并发度以掩盖内存延迟——这正是 docs/papers/weight-compression-tq4.md 5.6 节记录的 27B 解码回退（70%→99%）的修复思路：大模型上 threadgroup 内存压力会摧毁 GPU 占用率，需要 kernel 级缓解。

回归检查：未压缩模型零回归

在所有受测硬件上，未压缩模型均无回归：

已知问题

常见陷阱

置信度评估

复现与参与社区验证

快速复现（5 分钟）

从 llama-cpp-turboquant fork 构建后，对 Q8_0 GGUF 生成张量类型文件并量化。以 64 层的 Qwen3.5-27B 为例（Config I，边界 2+2，完整说明见 docs/getting-started.md）：

# 生成 Config I 张量类型文件 python3 -c " n_layers = 64 # 按你的模型调整（Qwen2.5-7B 是 28，Llama 70B 是 80） boundary = 2 for i in range(boundary, n_layers - boundary): for t in ['attn_q', 'attn_k', 'attn_v', 'attn_output', 'ffn_gate', 'ffn_up']: print(f'blk.{i}.{t}.weight=tq4_1s') print(f'blk.{i}.ffn_down.weight=q4_k') " > config_i.txt # 从 Q8_0 源量化 ./build/bin/llama-quantize \ --allow-requantize \ --tensor-type-file config_i.txt \ model-Q8_0.gguf model-config-i.gguf Q8_0

Llama 家族使用 Hybrid 或 Premium：

# Llama Hybrid：注意力 TQ4_1S，FFN 全部 Q4_K python3 -c " n_layers = 80 # Llama 3.1 70B for i in range(2, n_layers - 2): for t in ['attn_q', 'attn_k', 'attn_v', 'attn_output']: print(f'blk.{i}.{t}.weight=tq4_1s') for t in ['ffn_gate', 'ffn_up', 'ffn_down']: print(f'blk.{i}.{t}.weight=q4_k') " > llama_hybrid.txt # Llama Premium：注意力 TQ4_1S，FFN Q5_K/Q6_K，更宽边界 python3 -c " n_layers = 80 for i in range(4, n_layers - 4): for t in ['attn_q', 'attn_k', 'attn_v', 'attn_output']: print(f'blk.{i}.{t}.weight=tq4_1s') for t in ['ffn_gate', 'ffn_up']: print(f'blk.{i}.{t}.weight=q5_k') print(f'blk.{i}.ffn_down.weight=q6_k') " > llama_premium.txt ./build/bin/llama-quantize \ --allow-requantize \ --tensor-type-file llama_hybrid.txt \ model-Q8_0.gguf model-hybrid.gguf Q8_0

基准测试命令

# PPL ./build/bin/llama-perplexity -m model-config-i.gguf \ -f wikitext-2-raw/wiki.test.raw # 速度 ./build/bin/llama-bench -m model-config-i.gguf -p 512 -n 128 # 叠加 TurboQuant KV 压缩 ./build/bin/llama-bench -m model-config-i.gguf \ -p 512 -n 128 -ctk q8_0 -ctv turbo4

贡献你的测试结果

在你的硬件上测试后，把结果发布到 llama-cpp-turboquant 的 PR #45 讨论区。使用统一模板以便横向对比：

Model: Params: Source quant: Q8_0 Hardware: VRAM: Setup (single/multi GPU): Before (size, BPW): After (size, BPW): Compression %: Config (Config I / Hybrid / Premium): Speed: Baseline pp512: Baseline tg128: Compressed pp512: Compressed tg128: Compressed + turbo4 KV tg128: PPL (if measured): Baseline: Compressed: Delta: Issues: Verdict (works / partial / broken):

要求：源必须是 Q8_0；必须同时包含基线与压缩后的运行数据；标注是纯权重压缩还是权重+KV 叠加。崩溃和失败与成功同样有价值。

适用前提与边界

• 源量化要求：必须有 Q8_0 GGUF 源；Q4_K_M 等已低比特模型几乎没有压缩空间（论文 5.5 节在 104B 模型上实测仅 7% 收益）；
• 后端现状：Metal 后端最成熟（NR0=8 融合 kernel，解码 94–102%）；CUDA 可用但融合 kernel 仍在优化，加载时转 q8_0 是务实选择；AMD HIP 在 RDNA 4 上可用（130% 速度），gfx1032 受上游 rocBLAS 问题影响；
• 模型家族差异：Qwen/Phi 用 Config I（+1.0–1.9% PPL），Llama 家族必须用 Hybrid/Premium，根因（Llama 残差流对量化噪声的 6–8 倍放大）尚未完全解释；
• 约束：同一层内 4 个注意力张量必须同类型（原地旋转 kernel 约束）；head_dim >= 128的标准注意力 + FFN 架构适用；
• 数据时效：本文为持续更新的活文档汇总，原始数据截至 2026-04-04，来源为 llama-cpp-turboquant PR #45 评论区、社区测试与直接贡献者报告，完整结果见 docs/weight-compression-results.md，方法与实验过程见 docs/papers/weight-compression-tq4.md。