企业官网建设流程全解析

Sylph: Scaling FHE-based Privacy-Preserving Inference to LLaMA-3-8B

论文重点

本文提出了Sylph系统，首次将全同态加密（FHE）推理成功扩展至LLaMA-3-8B这一参数规模的大语言模型。在8张NVIDIA RTX PRO 6000 GPU上，128个加密token的摘要任务仅需20秒，生成阶段每token仅需18秒——相比之下，现有最先进方案在更昂贵的8张H100 GPU上需要295秒。Sylph还创新性地支持了“明文+密文”异构输入模式，可将提示长度扩展至数千token，为FHE隐私推理的实用化迈出了关键一步。

核心研究内容

问题定义

大语言模型（LLM）的云端推理带来了严重的隐私风险——用户的查询内容在传输和计算过程中可能被服务方或第三方窥探。全同态加密（FHE）作为一种“密文上直接计算”的加密方案，被视为解决这一问题的理想工具。然而，FHE推理面临两大核心障碍：

第一，扩展性瓶颈。现有FHE推理方案要么只能处理小模型，要么只能处理大模型但输入token数量极少。随着输入长度增加，同态运算的复杂度和噪声增长呈指数级上升，导致实际不可行。

第二，异常值（Outliers）灾难。LLM的激活值中存在大量异常大值，这些值对非线性层（如SiLU激活函数、SoftMax）的同态评估影响极大。FHE中评估非线性函数需要多项式近似，而异常值的存在迫使使用高次多项式以保证精度，直接导致计算量爆炸。

创新方法

Sylph从两个维度展开创新：

维度一：128加密token场景的加速

1. 异常值缓解技术：采用Token Prepending（前置填充）和Orthogonal Rotations（正交旋转）两种机器学习技术，将非线性计算层的数值范围从约2400压缩至40以下。对于SiLU激活函数，多项式次数从83降至31，计算速度提升1.55倍。

2. 稀疏打包密文的多项式评估：针对SoftMax计算中密文稀疏打包的特点，设计了新的多项式评估方法，大幅加速同态SoftMax实现。

3. 快速同态线性代数技术：结合多项最新的线性层加速方法，实现了线性层的端到端效率提升。

维度二：数千token长提示的扩展

Sylph提出了一种创新的“明文+密文”异构输入框架：

• 假设上下文中只有最后一部分是敏感且加密的，前面部分为明文

• 处理这种输入需要同时处理三种计算分量：

  • 明文-明文分量（与全明文推理完全一致）
  • 密文-密文分量（与全加密推理一致）
  • 明文-密文分量（本框架特有的新计算模式）

• 针对明文-密文分量，设计了专门的同态线性代数算法，并构建了浅层同态注意力电路（Shallow Homomorphic Attention Circuit），以最小化Bootstrapping开销。

整个系统基于CKKS同态加密方案实现端到端的Llama-3-8B私有推理。

研究成果

性能数据（8×NVIDIA RTX PRO 6000 GPUs）：

对比分析：Sylph在成本更低的RTX PRO 6000 GPU上，将摘要速度提升了14.75倍（295s → 20s）。异构输入模式（4096 token）仅比全加密模式（128 token）多耗费44秒，说明明文部分的开销被有效控制。

精度保障：Llama-3-8B采用20-bit Bootstrapping流程，有效精度达到13-bit，足以保障下游任务精度。

实际落地应用的可能性

Sylph的成果使得FHE隐私推理从“理论可行”走向“工程可用”：

• 医疗场景：患者可将病历摘要（加密）输入云端LLM进行辅助诊断，全程不暴露隐私
• 金融场景：财务报表、投资组合等敏感数据可在密文状态下完成智能分析
• 法律场景：涉密合同条款的智能审查，无需将原文上传至服务商
• 个人隐私保护：普通用户的对话历史、个人信息在云端推理中得到加密保护

异构输入模式特别适合“长上下文+短敏感内容”的实际场景——例如，用户想基于大量公开文档（明文）问一个涉及个人隐私的问题（加密），Sylph可以在不暴露隐私的前提下完成推理。

技术细节

1. 异常值缓解：Token Prepending与Orthogonal Rotations

LLM的激活值异常值通常集中在特定维度上。Sylph采用了两层策略：

• Token Prepending：在输入序列前添加特殊token，改变激活值分布
• Orthogonal Rotations：通过正交变换将异常值分散到更多维度

两者结合后，非线性计算的数值范围从**~2400降至<40**，降幅达98%以上。

2. 同态SoftMax的稀疏打包优化

FHE的CKKS方案支持将多个数值打包到一个密文中进行SIMD式运算。SoftMax计算中，密文并非完全填满——Sylph利用这种稀疏性设计了专门的多项式评估方法，避免了冗余计算。

3. Bootstrapping精度管理

Bootstrapping是FHE中重置密文噪声的关键操作，也是性能瓶颈所在。Sylph采用20-bit Bootstrapping流程，有效精度13-bit——在精度和性能之间找到了平衡点。

4. 浅层同态注意力电路

对于明文-密文混合场景，Sylph设计了专用的同态线性代数算法：

• 将注意力计算拆分为明文-明文、密文-密文、明文-密文三个独立分量
• 明文-密文分量使用定制化的同态矩阵乘法
• 整体电路深度被刻意保持在浅层，以减少Bootstrapping次数

5. CKKS端到端实现

Sylph基于CKKS方案构建了完整的端到端推理流水线：

• Prefill阶段：四个核心操作依次执行
• Decode阶段：逐token自回归生成
• 每个阶段都包含线性层（矩阵乘法）和非线性层（SiLU、SoftMax）的同态评估

研究设定

硬件配置

• GPU：8×NVIDIA RTX PRO 6000（对比实验中还使用了8×H100）
• 部署方式：多GPU集群并行计算

软件与算法

• 同态加密方案：CKKS（近似同态加密）
• 目标模型：Llama-3-8B
• Bootstrapping精度：20-bit流程，13-bit有效精度

实验场景

1. 全加密场景：128个输入token全部加密
2. 异构场景：4096个输入token，前3968个为明文，后128个为加密

评估指标

• 摘要（Prefill）总耗时
• 生成（Decode）每token耗时

综合分析

为什么Sylph能实现如此大的性能跨越？

Sylph的成功并非单一技术的突破，而是系统级协同优化的结果：

第一，异常值管理是解锁性能的关键钥匙。现有FHE推理方案之所以在长输入上表现糟糕，很大程度上是因为异常值迫使非线性层使用极高次的多项式近似。Sylph将数值范围压缩98%后，多项式次数从83降至31——这不是渐进式改进，而是质的飞跃。每降低一次多项式次数，就意味着减少一层乘法深度、减少一次Bootstrapping需求。

第二，异构输入设计精准匹配了实际需求。在真实场景中，用户的查询往往由“公开上下文+私有问题”构成。Sylph敏锐地捕捉到这一特点，没有盲目追求“全加密”，而是允许明文与密文混合处理。这使得长上下文场景变得可行——如果4096个token全部加密，Bootstrapping开销将是指数级增长的。

第三，硬件选择体现了务实精神。RTX PRO 6000虽然不如H100强大，但成本更低、更易获取。Sylph在“平民级”硬件上超越了SOTA在“旗舰级”硬件上的表现，这本身就说明了算法优化的威力。

局限性与挑战

生成速度仍是瓶颈。每token 18-22秒的生成速度，对于实时对话场景而言仍然过慢。虽然比295秒有巨大提升，但与明文推理的毫秒级响应仍有几个数量级的差距。

模型规模上限未知。本文成功验证了8B参数的可行性，但能否扩展到70B、甚至数百B的模型仍是未知数。

Bootstrapping仍是天花板。尽管Sylph通过浅层电路设计减少了Bootstrapping次数，但Bootstrapping本身的高成本并未根本解决。

实践应用

谁应该关注这项研究？

• 隐私计算工程师：Sylph展示了FHE从实验室走向工程落地的一条可行路径
• 云服务提供商：可探索“隐私保护AI推理”作为增值服务
• 医疗、金融等强监管行业的技术决策者：该技术为合规使用云端LLM提供了新可能

落地建议

1. 从异构模式切入：全加密128 token虽快，但实际场景中“长明文上下文+短加密查询”的异构模式更具实用性
2. 关注硬件选型：Sylph在RTX PRO 6000上表现出色，无需盲目追求H100级别硬件
3. 评估精度-性能权衡：13-bit有效精度对大多数任务足够，但特定高精度需求场景需额外验证
4. 预留优化空间：当前性能仍有提升空间，可关注后续Bootstrapping加速和多项式近似方法的进展

参考资料

• 原始论文: Scaling up FHE-based Privacy-Preserving ML: Higher Throughput, Longer Inputs for LLama-3-8B
• PDF全文: https://arxiv.org/pdf/2601.18511
• HTML版: https://arxiv.org/html/2601.18511v2