51.2T交换机的选型讨论,圈子里已经吵了快一年。方案层面的结论越来越一致——芯片本身基本定了,反而是光模块这边成了最大的变量。这代交换机的单端口速率从400G跳到800G,最直接的结果就是可插拔DSP光模块功耗逼近15瓦量级,满配64个800G端口时,光模块侧的热功耗就接近900瓦,比上一代整个盒式交换机整机功耗还夸张。于是“拿掉DSP”从一个实验室里的激进想法,变成了摆在货架上的两个选项:线性可插拔光模块(LPO)和光电共封装(CPO)。这里说的DSP,是光模块里那颗数字信号处理器,不是交换机主芯片里某种DSP功能模块,别混了。很多人看到标题第一反应是:把这么核心的芯片拿掉,性能还能看吗?先给结论——30米以内的机房短距互联,拿掉DSP之后性能几乎无感知;但只要链路余量吃紧,和带DSP方案的差距会暴露得很彻底。这篇文章就围绕“性能到底怎么样”来展开,适合正在做800G和51.2T方案选型的网络架构、硬件和运维团队。
1. 拿掉DSP之前,先弄清楚这颗芯片在光模块里干了什么活
1.1 光模块里的DSP不是普通芯片,它是信号保姆
要理解拿掉DSP的后果,得先明白这颗芯片在光模块里到底承担了什么。传统800G可插拔光模块内部,DSP做的事可以简化成三块:发送端把主机SerDes丢过来的电信号重新整形,做预加重和均衡,把PAM4四电平信号的码间串扰尽量压下去;接收端把光纤送进来的微弱光信号,经过探测器变成电信号之后,做时钟数据恢复(CDR)、信号均衡和判决,最终恢复出一路干净的电信号交给交换机。
我习惯把DSP理解成光模块里的“信号保姆”:主机侧发出的信号质量一般,它帮你洗脸、梳头、整理好再上车;到了对面,它又把被光纤链路折腾得七零八落的信号重新拼好,体体面面地下车。没有这层处理,主机SerDes和光纤物理层之间就是硬碰硬——能不能跑通,全靠原始信号质量和链路伤病程度。这也是为什么过去几代光模块一直在加DSP,不加不行,400G已经是主机SerDes能硬扛的上限了,800G的PAM4更加娇贵。
1.2 51.2T时代,DSP的账本算不过来了
既然DSP这么有用,为什么要拿掉它?不是技术不行,是这笔账越来越难做了。先说功耗:主流800G可插拔DSP光模块,单只功耗12到15瓦是常态。一台51.2T盒式交换机满配64个800G端口,光模块侧就是800到900瓦热功耗。交换机机箱和散热系统要为这些模块留出充分的散热余量,风扇转速、空调制冷、电力规划全都要跟着升级,这还没算DSP芯片本身带来的成本。
成本是另一个问题。一颗DSP在光模块BOM成本里能占30%到40%,模块售价拉高不说,交付周期和供应链风险也跟着涨。再一个就是时延。DSP处理一次完整的重定时和均衡,会引入几百纳秒量级的时延,这个数字在传统网络里没人关心,但在高性能计算和分布式AI训练场景里,通信时延直接拖慢集群效率,是可以被拿出来当差异化指标的。所以“拿掉DSP”不是谁突发奇想,是被功耗、成本、时延三座大山逼出来的路线。
1.3 “拿掉DSP”并不是删功能,而是把功能挪个位置
这里要澄清一个常见误解:LPO不是简单地把DSP芯片摘掉,剩下的电路照原样跑。它做的是把原本在模块内的数字信号处理功能,迁移到交换机主机侧的SerDes和FEC(前向纠错)体系里。模块本身变回一个“电到光、光到电”的线性通道——发射端把主机送来的电信号直接调制到激光器,接收端把探测器出来的电信号线性放大后直接送回主机。
这种方案能成立,靠的是主机侧SerDes本身也是DSP架构。当今主流51.2T交换芯片的SerDes基本都走ADC加DSP路线,本身具备很强的均衡能力,链路训练(link training)也能在端口初始化时自动调优。换句话说,DSP不是消失了,是从光模块里搬到了交换机主板芯片里,顺着信号流往后挪了一步。
2. 去DSP之后,误码率靠谁兜底:主机侧SerDes和FEC的重新分工
2.1 发射端:没有模块预加重,主机TX均衡得自己扛
DSP模块的发射端会对PAM4信号做精细的预加重,把驱动器、PCB走线、连接器这些环节带来的频率相关损耗提前补偿掉。去掉DSP之后,这个责任落到主机侧SerDes的发射均衡上。好在当今主流的112G/lane SerDes本身就带发射均衡器,通过link training可以协商出一组抽头系数,尽量把信号送到光纤入口时是干净状态。
这条链路里最容易出问题的是PCB走线。光模块通常插在面板上,和交换芯片之间的走线长度、过孔、连接器都会引入高频损耗。带DSP模块时,信号到了模块侧会被DSP重新整理,PCB段的不良影响相对可控;LPO方案下,模块只做线性放大,PCB段若设计不佳,眼图劣化会直接被送去调制激光器,最终体现在光信号质量上。所以LPO方案对交换机的PCB设计、面板连接器选型、走线阻抗一致性要求明显高于传统方案,这也是为什么同样标称“支持LPO”的机器,实际表现可能差异很大。
2.2 接收端:CDR和重定时没了,时钟和数据恢复全压在主机侧
接收端的变化更值得关注。带DSP的模块,接收侧有完整的CDR和重定时机制,进来的光信号哪怕有噪声、有抖动,DSP也能帮你把时钟恢复出来,把数据重新对齐到一个干净的时域里。LPO模块没有这层机制,接收端的TIA线性放大后,信号直接回送到主机SerDes的ADC前端,靠交换芯片内部的DSP做均衡和时钟恢复。
这个架构带来的直接后果是:整条链路的抖动预算变得非常紧张。原本模块DSP可以吸收掉一部分时钟抖动和漂移,现在没有了这层缓冲,主机侧SerDes必须在更恶劣的输入条件下恢复时钟。实际运行中,两端交换机的时钟同步、模块内部激光器驱动芯片的抖动、光纤链路的噪声都会叠加进来,如果整条链路里存在掉速、跳变或者其他瞬态问题,LPO链路的容错会更低。运维时如果发现LPO端口偶尔出现CRC错包或链路翻转,先查时钟和抖动预算而不是光功率,是我这几年体验最明显的一个差异。
2.3 FEC预算才是真正的最后防线
链路物理层的种种劣化,最后都要靠FEC来兜底。现网800G链路普遍使用RS(544,514) FEC,纠前BER门限通常在1e-4量级,纠后BER可以到1e-15以下。带DSP模块时,模块内部DSP已经做了一轮信号重构,返回主机的信号BER通常比较低,FEC只是作为安全垫;而LPO方案下,模块不进行任何数字处理,原始光信号瑕疵会原样传给主机,FEC纠错计数跟着上涨几乎是一种常态。
我把这个变化比作坐车:带DSP模块像坐了一个经验丰富的司机,路上十次颠簸他提前处理掉八次,乘客(主机FEC)感受不明显;LPO像坐一个新司机,路上坑坑洼洼都原样传导给乘客,乘客就得自己抓紧扶手——FEC计数就是那个扶手的受力传感器。理解这一点后,运维看到LPO端口FEC纠正计数时有波动就不用太紧张,只要没有持续增长或触发纠后BER告警,链路就是健康的。但如果哪一天FEC纠正计数突然飙升且不回落,那就是物理链路出问题了的明确信号,不是模块的问题,是信道的某个环节突破了容忍底线。
| 维度 | 带DSP的800G模块 | LPO线性模块 |
|---|---|---|
| 发射均衡 | 模块DSP预加重 | 主机SerDes TX均衡 |
| 接收均衡 | 模块DSP均衡+重定时 | 主机SerDes ADC+DSP |
| 时钟数据恢复 | 模块内CDR | 主机SerDes恢复 |
| FEC角色 | 安全垫(纠正少) | 主要兜底(纠正多) |
| 模块功耗(典型) | 12~15W | 8~11W |
| 时延增量 | 数百纳秒 | 接近零 |
3. 真跑链路时,三个最容易“现形”的指标
3.1 接收灵敏度和链路损耗预算
带DSP模块和LPO模块在光口测试里的第一个明显差距,是接收灵敏度。DSP模块因为有均衡和重定时,接收机对光信号质量的要求相对宽松,业界主流800G DR8带DSP模块的接收灵敏度典型值大概在-6dBm上下,不同厂牌规格会有一点出入。LPO模块没有接收DSP处理,灵敏度会明显变差,典型情况下会往上抬2到4个dB,也就是说同样的接收光功率,LPO更容易出现误码。
这个差距直接反映在链路预算上。以800G DR8单模链路为例,设计时链路插损预算一般按3dB量级来预留,覆盖光纤衰减、连接器插损、熔接点等损耗。如果只是同一个机柜或相邻机柜的跳纤,插损通常只有0.5到1dB,带不带DSP压力都不大;但一旦链路穿过楼层配线架、经过多级MPO/MTP跳接,插损很容易堆到2dB以上,这时候带DSP模块还能靠接收端均衡硬扛一下,LPO模块就开始在FEC计数上现出原形。
3.2 连接器数量与端面污染:LPO的命门
我见过不少反馈,说LPO链路“娇气”,动不动就告警,排到最后发现不是光模块的问题,是连接器脏了。带DSP模块时,端面上有一点灰尘,DSP还能在接收端做做补偿,把影响压住,波特率相对宽容;LPO模块是线性通道,端面污染带来的额外插损和回损会毫无保留地传导到接收信号质量上,一粒不起眼的灰尘就可能让BER冲到一个数量级开外。
所以装LPO模块的环境,端面检测和清洁必须提升到“强制”级别。拿起模块的防尘帽,用显微检测仪看插芯端面,但凡有可见污染或者划痕,先清洁再插拔,不让可疑端面进入光路。MPO接头尤甚——它通常是一插就是一束光纤,端面大,更容易积灰,清洁时要做头对端面的双向清洁和检查。这条经验在传统DSP模块时代可以靠运气,但在LPO时代靠运气就是在给自己挖坑。
3.3 温漂与老化:DSP会自适应,LPO只能干瞪眼
第三个容易暴露差距的维度是温度变化和器件老化。DSP模块的发射端和接收端都有数字闭环控制,激光器功率随温度波动时,DSP会实时调整驱动参数,接收端也可以根据信号质量动态调整均衡系数,维持可靠通信。LPO模块没有这套自适应闭环,发射功率、调制摆幅、TIA增益基本都是出厂固定的线性设定,温度升高、器件老化带来的性能漂移没有补偿机制。
实际操作中的体感是:LPO链路在机房温度稳定的季节运行很乖,一旦夏季空调降效、机房温度往上走,原本FEC计数安静的链路会开始冒纠正计数,个别余量紧张的端口甚至会出现误码告警。做端到端设计时,务必按最恶劣工况预留额外余量,而不是按典型温度23度对应的参数来算链路预算——这一点我在多个项目上都提醒过,受到的重视程度还是不够。
4. 51.2T整机表现:哪些场景几乎“无感”,哪些场景原形毕露
4.1 机柜内与列间短距:性能看不到差异,收益看得见
把场景切到数据中心最典型的高密度短距互联——同一机柜内的GPU节点和交换机互联,或者同一列内两台Spine交换机之间的连接,光纤长度通常在10到30米之间,链路插损极小。这种场景下,带不带DSP对最终端到端误码率的影响几乎可以忽略。我实际接触过的51.2T平台在短距链路下无论装哪种模块,FEC纠正计数都在很低的水平,链路稳定性没有肉眼可见的差异。
但收益的差异是实打实的。单只模块省下3到5瓦,64个端口下来就是200到300瓦的模块侧功耗降幅,再加上时延和成本的下降,在短距场景里,LPO方案是明显更划算的。这也是为什么AI训练集群和高性能计算网络最先接受了LPO——他们的大量流量恰恰集中在机柜内和同机房短距离,DSP的很多功能在那里并不是必需品。
4.2 跨楼层和长距离:FEC计数会说话
场景一旦拉到跨楼层甚至跨楼宇,情况就完全不同了。我倾向于这样分界线:50米以内对LPO友好,50到100米要看链路中间经过多少连接器和配线架,超过100米或者中间有跨楼层汇聚节点,传统DSP模块的可靠性优势就体现出来了。长链路意味着更大损耗、更多连接器、更多环境干扰,每一环都挑战LPO的线性链路底线。
现场有一个很直观的排查路径:先看端口FEC纠正计数,增长平缓且低,链路健康;计数持续走高,开始伴随错帧、CRC或者链路翻转,再按光链路物理路径去测光功率、查连接器端面、检查光纤弯曲半径。这类问题十有八九不是LPO模块本身不行,而是链路某一段的超预期损耗压垮了余量。反过来说,如果你在这类长链路场景下非要用LPO,那我建议至少做好三层保障:全程严格端面管理、把链路插损实测值做进验收标准、给FEC计数设置合理的告警基线。
4.3 高密度与整机散热:去掉DSP带来的隐性收益
整机层面的变化还体现在高密度部署的散热和可靠性上。满配64个800G端口时,模块侧功耗从900瓦降到600多瓦,对机柜供电、空调冷量、风扇转速的影响都是系统性的。风扇能降速意味着噪音下降,也更不容易进入高转速带,这对运维体验是隐性加分项。
更关键的是模块故障率预期。DSP是光模块里发热量和复杂度最高的部分,去掉DSP后模块内的发热源减少、器件数量减少,理论上的失效率也会下降。当然这是统计层面的事,单个模块可能感受不明显,但在几千个端口的规模下,哪怕故障率提高一点对运维压力都是灾难级。把DSP拿掉,除了降低单个模块的成本,也在物理层面简化了模块本身。
5. 把LPO装进生产环境,运维和测试的五个习惯必须改
5.1 端面检测从“建议项”变成“必检项”
传统DSP模块时代,很多团队对端面清洁的容忍度很高,甚至有人觉得“差不多就行,DSP能扛”。LPO时代这条经验彻底失效。我强烈建议把端面检查写进SOP的必检项,尤其是新部署和故障处理环节。操作顺序固定为:拔防尘帽、显微检测、按需清洁、再检测、插入、复核链路。每一步都要有记录,出问题时能回溯到具体哪根跳线、哪个MPO端面出了问题。
5.2 测试和验证手段要换
传统DSP光模块可以在模块内部做自环测试,因为DSP本身能完成重定时,模块插在交换机上做电环回往往能掩盖物理层的不少问题。LPO模块没有DSP,模块自环基本反映不了真实链路质量,测试必须走真光纤、过真实连接器。
建议充分利用交换芯片自带的PRBS测试能力和端口统计。部署完成后,用主机侧PRBS打流量,配合FEC纠正计数和错帧统计做验收,比单纯看模块光功率更能反映真实链路健康度。我看过不少团队在LPO部署后还用老方法验收,结果是上线后被各种隐藏问题打脸。
5.3 监控指标要从DSP寄存器调整为FEC统计
DSP模块可以读出一堆内部状态:均衡系数、眼图张开度、BER估计值、温度补偿状态等等。LPO模块没有这些东西,就算走管理接口也最多读到光功率、温度、电压这类的DOM基础量。所以监控体系的重心必须转移:FEC纠正计数、纠前BER估算、错包率、链路重启次数,这些交换机侧能看到的指标才是LPO链路真正的健康状况晴雨表。
建议给FEC纠正计数设置两层告警。第一层是速率告警,比如每分钟纠正计数超过某个量级就提醒;第二层是趋势告警,纠正计数短时间内持续上升超过三倍,立即触发人工介入。单纯设一个固定阈值容易误报,因为不同链路余量的健康基线本来就不一样。
5.4 备件替换和调优记录要加强
带DSP模块的链路,替换模块后DSP自己会重新适配信号,基本是即插即用。LPO链路对主机侧SerDes和模块的匹配更敏感,同一系列的不同批次模块,增益和带宽特性也会有细微差异。替换模块后建议做一次端口初始化,观察link training是否顺利完成,跑几分钟流量确认FEC计数在预期范围内。
备件策略上,不要混用不同批次、不同厂牌的LPO模块做一对一的跨设备替换。最好把备件模块和原模块放在同一批采购、同一环境运行过一段时间后再入库。替换时要记录两个数字:替换前的FEC基线,替换后的FEC基线,两个数字差太远说明有问题。
5.5 在机房长期放几支DSP模块作为“参考基准”
这是我自己总结出来的一个土办法,但实测非常管用:在全部采用LPO模块的环境里,长期保留几支带DSP的800G模块当作标准参考。遇到LPO链路FEC异常又排查不出物理问题的时候,把有问题的端口临时插上DSP参考模块,如果故障随之消失,问题大概率在LPO模块或者模块与SerDes的匹配度上;如果DSP模块同样异常,那就要往光纤链路和主机侧去查。
这招的性价比很高。几支DSP模块的成本换来的是一套可靠的故障定位基准,比拿着仪表到处比对快得多,尤其适合没有专职光通信工程师的运维团队。
6. 我的结论:51.2T拿掉DSP不是不行,关键是链路预算要透明
6.1 我可以放心上LPO的三种场景
第一种是机柜内和相邻机柜短距互联,10至30米的光纤,链路插损基本不超过1dB,不存在余量问题;第二种是同一机房内部同一楼层的高密度Spine-Leaf互联,只要链路路径相对直、连接器数量少、温度环境受控,LPO完全扛得住;第三种是新建数据中心并且从设计阶段就把LPO链路条件考虑进去——包括端面管理规范、清洁工具投入、空调冗余度,这类环境从一开始就按LPO的特性来建设,风险是可控的。
6.2 我不会碰LPO的四种环境
跨楼宇或者跨机房的长距离链路我不会用LPO,中间经过太多配线节点,任何一段超预期损耗都可能压垮余量。历史建设的老旧机房我不会混用LPO,因为旧链路里有多少连接器、多少段跳线、端面状态如何根本说不清,排查成本极高。对链路可靠性要求极其苛刻的核心骨干位置,我宁愿保留DSP模块买一个心理和实际的双重保险。最后是运维资源紧张的团队,如果连端面检测SOP都还没建立,请先不要激进地上LPO,传统DSP方案更适合作为从0到1的起步形态。
6.3 接下来半年到一年,两条路线会怎么走
可插拔LPO和CPO并不是非此即彼的关系,它们针对的是不同密度等级。CPO把光引擎贴到交换芯片附近,光信号几乎不经过长PCB和面板连接器,在超大带宽密度上有天然优势,但维护灵活性不如可插拔。LPO作为可插拔方案,生命周期和运维模式更接近传统模块,过渡成本低,适合现网逐步替换。
未来一两年内一定会出现混合部署:同一台51.2T交换机,短距端口用LPO,长距或者特殊链路继续保留DSP模块,甚至会有“半重定时”的过渡形态模块出现。选型时不用纠结“全营全换”,按链路预算就高拆低,每一条链路单独决定用哪种模块,才是这代架构里最理性的做法。
最后分享一个我自己实际用出来的习惯。新建机房第一次上800G时,我会在主用LPO方案的每个列间机柜里固定放两支DSP模块当作“救火队”和“标尺”。平时它们安安静静躺在旁边,一旦哪条LPO链路FEC异常,先换上去对照,几分钟就能判断是链路问题还是模块问题。这套方案成本很低,但排障效率翻了不止一倍——再往后做规模部署时,这也成了我必留的一个后手。