干了十三年通信,其中十一年泡在无线侧,后面两年转到核心网,这个跨度在圈子里不算特别大,但足够我看清楚很多问题的全貌了。经常有人问我,无线工程师和核心网工程师到底有什么区别,也有人问我整个工作流程到底是怎么串起来的。说实话,刚入行那几年我也是一头雾水,只知道低头做单站验证、调天线、导路测日志,根本不知道手里的活在整个网络里处于什么位置。直到后来接触核心网,才把以前心里很多“为什么”给串通了。
这篇文章没有高大上的理论,也没有厂商宣传话术,就是我这十几年摸爬滚打下来,对通信工程师完整工作流程的一次系统复盘。从无线侧的开站、优化、故障处理,到核心网的业务迁移、信令分析、数据配置,再到两者之间的跨域定界方法,我尽量把每个环节的实操要点和踩过的坑都写清楚。如果你刚入行不久,或者正打算从无线转向核心网,又或者单纯想看看这行到底每天都在干什么,这篇内容应该能帮你少走不少弯路。
1. 先看清全局:无线与核心网在整张网里分别扮演什么角色
很多人分不清无线工程师和核心网工程师的分工。最直白的理解是:无线侧管的是“接入”,核心网管的是“连接”。
你手机打电话、刷视频,第一步要经过基站,基站属于无线接入网,也就是我们常说的无线侧。无线工程师干的活,就是保证基站覆盖好、信号不干扰、切换不掉话、速率尽量快。你在路上走着走着突然没网了,多半和无线侧有关。
而核心网,可以想象成整个网络的“总交换机房”。它负责处理你的通话业务要不要建立连接、你在移动的时候怎么保证链路不中断、你的用户身份怎么鉴权、怎么计费、数据包要怎么路由出去。打电话听到“您拨打的用户已关机”,这背后是核心网帮你找到了被叫的位置;视频通话能接通,核心网负责把两边的媒体通道建立起来。一句话,无线侧解决“能不能连上”,核心网解决“连上了之后怎么走、怎么认证、怎么计费、怎么维持”。
13年里我前11年都在和基站打交道,后来2年转到核心网团队。感受最深的不是技术栈有多难,而是思维方式完全不一样。
无线侧的工作像“外科医生”,面对的是一个具体的站、一片具体的覆盖区域。你关注的是这个小区的RSRP差多少、SINR低不低、切换成功率是否达标、有没有频点干扰。问题定位路径相对线性:路测发现问题,回到后台看指标,锁站、锁频点,逐步排除。干无线的时间长了,你对一片区域的网络状况会形成一种地图式的直觉,哪个路口容易掉线、哪个小区地下室信号差,脑子里都有一本账。
核心网的工作更像“内科大夫”,你看不到具体的站,面对的是成堆的日志、信令消息和协议状态机。某个网元处理不过来导致大量用户附着失败,某个接口协商参数不一致导致VoLTE通话单向无声,这些问题的根因藏在复杂的消息交互里,需要顺着信令流程一步一步往下看。这种工作对逻辑推演的要求非常高,也很枯燥,但一旦定位到根因,那种成就感无线侧很难给到。
为什么非要强调这两个方向的差异?因为完整的通信工作流程,从来不是无线侧或者核心网单方面能搞定的。
一个最简单的业务呼叫,端到端要经过手机、基站、核心网多个网元。无线侧说“我的信道质量没问题,指标都不差”,核心网说“我的信令流程也没问题”,那用户投诉为什么还掉线?问题往往就出在中间的接口和协同上。
所以我一直建议,通信工程师不管一开始在哪个侧,都要找机会去对侧看一看。无线工程师不需要把核心网每一个网元搞清楚,但你至少要知道一条业务从无线侧传上去之后,核心网那边做了什么处理,回来的时候又带了什么信息。这个认知决定了你解决问题是“碰巧修好”还是“真正定位”。
2. 无线侧十一年:一套从建站到优化的完整执行闭环
无线侧的工作如果高度浓缩,其实就是四个字:建、优、维、修。
建,指的是新站从规划到开进网的过程;优,是开完站之后做网络优化;维,是日常巡检测试;修,是出了故障能够快速恢复。这四个字看着简单,里面的操作细节多了去了。
2.1 开站前的勘察与数据设计,决定了你后面优化要做多少额外工作
很多人以为开站就是把设备往机柜里一装,数据一做,站就通了。实际操作里,第一步是站点勘察和规划数据设计,这一步做得糙,后面优化得还债。
勘察要看什么?不是只看站址有没有电、有没有光缆。要看站高和周边环境的匹配度。站太高,信号打得远,但站下覆盖很差,越区覆盖也严重,周围基站的干扰全部被抬起来。站太低,近处覆盖可以,远处就盲区了。周围有楼密集,天线方位角和下倾角怎么预分配,都是勘察时要做初步判断的。业内常说的“天面条件”就包括这些,你设计时想得越细,后面做RF优化的人越省力。
我见过太多项目,勘察报告就是拿个手机拍几张照片,填个表就算完事。结果站开了之后,越区覆盖一片,邻区漏配一堆,下载速率提不上来,只能反复上站调整天线。一个站的RF优化成本是勘察成本的几十倍,这笔账一定要算明白。
规划数据设计就更别说了。物理小区标识(PCI)、邻区关系、频率规划、小区重选参数、切换参数、功率参数,每一项都要根据周边网络环境去算,而不是套个模板就发下去。我曾经见过一个站点,PCI规划时没考虑模三干扰,开完站后周边三个小区互相干扰,SINR直接掉了七八个dB,用户感知特别差。最后重新规划PCI,全部邻区关系重做,牵一发动全身。
这里给两个实际建议:
- 勘察阶段,建议至少做到“一图一表一纪要”。一图是把站点周边500米范围内的楼宇、道路、水域、山体画清楚;一表是记录天线挂高、方位角、下倾角、站型配置;一纪要是把施工单位、传输资源、电力引入的确认结果写明白。这些东西看着笨,后面每一步都离不开它们。
- 规划数据阶段,PCI和邻区关系,必须拿全网工参表做校验,不能只看本地站点的邻居,要把两圈之外的基站也纳入考虑。邻区关系宁多勿漏,漏配一个邻区,换来的是大量切入失败的掉话。
2.2 开站数据制作与单站验证,最常见的返工现场
数据制作就是把勘察和规划的参数“翻译”成基站能识别的配置。早期设备上数据命令一行行敲,现在基本都是网管界面或者批处理脚本下发,效率高了不少,但容易出现批量错误。
我印象最深的一次,是某批次开站,脚本里把一个通用参数写错了,导致几十个站的小区都处于不可用的闭塞状态。数据制作这个环节,最关键的不是“会不会敲命令”,而是“下发之前有没有人复核”。很多人图快,制作完直接下发,广播信道一开,问题就暴露了,用户开始投诉。我们的做法是每一批数据制作完,由另外一个人拿着工参表和规划数据逐条核对,确认无误后再操作。这个复核流程看着拖慢进度,实际上省掉了后面大量的故障工单。
开站完成后,单站验证不能省。单验的常规动作包括:
- 后台看小区状态是否正常,基带、射频、传输各单板有没有异常告警;
- 现场测试上传下载速率、时延、呼叫建立成功率、切换成功率;
- 近点、中点、远点分别测一遍,验证覆盖和速率是否符合预期;
- 在小区边缘做切换测试,重点验证邻区关系是否真的配全了、配对了。
单验测不过的常见原因,我统计下来十有八九不是设备问题,而是数据问题。要么邻区漏了,要么外部小区定义PLMN不一致,要么传输带宽配置不够导致速率上不去。所以做单验的时候,不要一上来就怀疑硬件,先把自己的数据配置捋一遍,往往比当场开盖查板子快得多。
另外,单验报告一定要好好写,别把它当成应付甲方的流水账。单验数据是网络初始状态的基准线,将来这个站性能劣化了,你拿什么对比判断到底是环境变了还是设备老化了?就是拿原始单验报告来对照。我在无线侧最后那几年,每次做网络性能劣化分析,第一件事就是翻这个站的单验基线记录。
2.3 网络优化:一半靠工具,一半靠经验
网络优化分两块:RF优化(射频优化)和系统优化(参数优化)。
RF优化俗称“爬塔调天线”。核心是调整天线的方位角、下倾角,有时还要调整天线高度或者替换天线型号。目标很简单——让该有信号的地方有信号,不该有信号的地方别瞎串信号。这话听着容易,做起来极其考验经验。因为天线每动一度,影响的是一片区域,而不只是一个点。你解决了一片高楼遮挡,可能又引入了新的越区覆盖。所以调天线必须看覆盖前提,有明确的覆盖问题指征才去动,不能“调指针”。
RF调整时,CQT(呼叫质量测试)和DT(路测)数据是最重要的依据。DT能看出RF问题的分布,哪些路段弱覆盖、哪些路段重叠覆盖多、哪些地方存在邻区缺失导致的连续质差。我干这一行有个习惯:出去路测回来,先把Log对应到地图上过一遍,脑子里有一个“覆盖印象”再看后台数据。这一步看着土,却是判断问题最直观的输入。
系统优化则是围绕各种计数器指标做参数调整,比如切换迟滞、小区个体偏移(CIO)、重选门限、功率控制参数、调度策略等等。系统优化的好处是不用上塔,坏处是参数调整的影响范围很难一眼看到。所以调参讲究小步快跑:一次只改一个影响因素,验证完效果再动下一个。最忌讳一次性改六七个参数,出了问题你根本不知道是哪个参数引起的,只能全部回退重来。
还有一类很重要的专项优化是干扰排查。干扰来源有很多:外部同频干扰、互调干扰、天馈驻波异常、私装信号放大器、甚至附近其他网络系统的高次谐波。排查干扰的基本功是用扫频仪结合后台干扰带统计,先确定受干扰的小区范围,再实地扫频定位干扰源。这套流程我前些年用得频繁,说实话,每次扫频都像玩“找茬”游戏,干扰源藏得越深,找到的时候越有成就感。
无线侧这11年,我觉得有一个认知特别重要:优化做的不是“把指标调到满分”,而是“在成本和感知之间找到可持续的平衡点”。你确实可以把某个热点区域指标调到全城第一,但如果这个效果是牺牲周边区域换来的,或者需要长期上站调整才能维持,那这个优化就是不可持续的。成熟的无线工程师做优化,一定会考虑成本和长期维护。
2.4 日常维护与故障处理:半夜被叫醒是常态
无线侧日常维护的核心就是盯告警、做巡检、处理工单。告警的等级分类很清晰,紧急告警、主要告警、次要告警。紧急告警比如射频单元退服、传输断链、单板故障,这种必须立刻处理,否则就批量掉站了。
处理故障的通用思路,我自己总结成四句话:先恢复业务、再定位根因、然后彻底解决、最后复盘记录。
很多新人处理故障特别喜欢一上来就查根因,查半天业务没恢复,用户感知越来越差。正确做法是:遇到批量掉站、掉话率飙升这种重大故障,优先通过复位、倒换、重启这类手段先把业务捞回来,然后再慢慢分析日志找根因。业务在线的确比什么都重要,这个优先级任何时候都不能搞反。
故障定位的经验积累很重要。比如射频单元收发光异常,多数是光纤脏污、光模块劣化、接口松动;驻波比告警,多数是天馈接头进水、馈线弯折、天线本身故障;传输断链则要分是光缆断了还是设备端口坏了。判断方法无非是“自环法”加“替换法”:光模块做自环测试,确认是模块问题还是链路问题;模块替换对比,确认是硬件问题还是配置问题。听着都是土办法,但效率极高,没有那么多玄学。
无线侧日常维护里还有一个很容易被忽视的点:基线配置管理。所谓一次改配置,就要存一次基线,下次变更出问题可以直接回退。我给团队定的规矩是:任何参数修改,先导出现网配置保存成变更前基线;改完之后再导出一份变更后配置;如果后续发现异常,两份对比,差异一目了然。这个习惯让我少背了无数口锅,强烈推荐。
3. 核心网两年:从“管一个站”到“管一张网”的思维切换
从无线转到核心网,最初一两个月我是非常不适应的。无线侧打开网管就能看到站点的所有状态,出了问题非常直观。到了核心网这边,你面对的是几台机柜里的刀片服务器和一堆逻辑网元,没有“天线”让你去爬,没有“下倾角”给你去调。你每天打交道最多的是命令行、日志文件、信令跟踪数据。这种转变,思维上的坎远比技术上的坎大。
3.1 核心网的日常,其实是围绕业务连续性展开的
核心网网元从功能上分很多种:移动性管理网元负责用户的注册、位置更新和切换;会话管理网元负责建立和释放承载;用户面网元负责数据包的转发;数据库网元负责存用户签约数据;网管和计费这一侧则是运维和运营支撑。
你想在用户面网元上找到“软件问题导致网速慢”的直接证据,其实是很难的。它不像基站哪里覆盖不好,跑一趟路测就清楚了。核心网的问题往往是通过大量用户的共性投诉、话统指标异常、信令失败率升高被发现的。-3%掉线率看着不高,但如果这是一个全网几十万用户的指标,背后就是上千用户受到影响。
核心网日常维护工作流,我总结了五个高频动作:
- 巡检与监控:盯告警、采集网元状态、检查各信令面负荷和资源使用率。重点不是看绿灯亮没亮,而是看趋势——今天比昨天多了多少信令量、资源占用率一周内涨了多少。很多隐性风险都是趋势异常先发现的。
- 配置管理:所有网元配置都要做到有记录、有审核、有归档。核心网的配置不像基站只有几个小区,一次批量配置涉及全网,错一个字段就是一片用户无法使用业务。
- 升级与补丁:这是核心网变更里风险最高的操作,必须在业务低谷窗口执行,并准备完整的回退方案。
- 信令跟踪与日志分析:排查用户具体问题时的利器。
- 跨域联调:无线新功能上线、新核心网功能引入时,都要做端到端业务验证。
3.2 信令跟踪与日志分析,是核心网工程师的核心基本功
在核心网排查“用户为什么附着不上”、“为什么语音可以但数据不通”、“为什么切换之后业务中断”这类问题,靠的是信令跟踪。信令就是网元之间交流的语言,就像两个人打电话,一句话一句话有来有回。信令跟踪把这些对话记录下来,工程师通过解码分析,看到底是卡在哪一句话上。
做信令分析第一关是抓包。抓包不是随便抓,要先搞清楚你要看的是哪个接口,是无线和核心网之间的控制面接口,还是核心网内部的接口,还是核心网到数据网之间的接口。接口不对,后面的包抓了也是白搭。加上过滤条件,尽量缩小抓包范围,否则数据量大了之后分析工具根本扛不住。
抓到包之后就是解码。解码的过程很像看聊天记录:先看流程总览,哪一步发起的,哪一步成功的;成功流程通常看时延,哪一段耗时异常,哪一段有重传;失败流程就直接看失败原因值。原因值这个数字特别重要,很多问题到这一步就已经水落石出。比如某种原因值代表“用户签约数据里没有这个业务权限”,那就可以去查用户签约库了;某种原因值代表“位置更新拒绝”,那就要去看跟踪区配置是否和无线侧一致。
说个我自己的糗事,刚转核心网的时候,有一次抓包忘记加IP过滤,直接抓了整个网元的双向流量,五分钟产生了十几个大文件。我抱着这些文件一个一个看,看到凌晨三点都没看出来问题。后来请教老同事,才学会先看总流程再下钻分段,先看网络层过滤再解析应用层。从那以后,我养成了一个习惯:抓包之前先在白纸上画出期望的信令流程,标出关键字段期望值,再开抓。有目标地抓包,比盲抓快十倍不止。
日志分析比起信令跟踪要杂得多。核心网网元每时每刻在产生系统日志、操作日志、业务日志。排查问题的时候,日志是最后的证据链。我建议新人至少搞清楚三类日志的位置:操作日志、系统异常日志、业务日志。系统日志里告警关键词常见的有内存溢出、磁盘占用率超标、CPU飙高、数据库连接失败。这些关键词一旦出现,基本直接指向下一步检查方向。
3.3 升级割接:核心网工程师最紧张的时刻,没有之一
核心网侧真正让人神经绷紧的,是版本升级和割接。一次核心网割接,影响范围可能是几十万甚至上百万用户,出一点岔子就是重大事故。
我参与过的割接流程,大致都遵循这个套路:
- 前期准备:阅读版本说明书,明确本次升级做了哪些功能、改了哪些参数、对现网有什么影响。准备升级包,核对MD5。准备回退包。
- 方案评审与技术交底:把操作步骤逐条过一遍。每个操作步骤都问一句:如果这步失败了,后果是什么,怎么回退?不问出所有可能性的方案是不能过评审的。
- 配置备份与快照:升级前做全网配置备份,不仅是数据库备份,还包括文件系统、日志分区状态。这些都是回退的基础。
- 窗口内操作:按操作手册逐步执行,每一步操作完立刻检查结果,出现异常马上暂停,立刻组织复盘讨论,不盲目推进。
- 升级后验证:业务拨测、信令跟踪抽查、指标对比。对比升级前24小时和升级后第一个小时的指标,很多问题就是在这个对比中被发现的。
- 观察期:升级后一般至少观察24到72小时,确认平稳后交还日常运维。
割接时间点往往都排在凌晨两点到四点,这是全网络业务量最低的窗口。夜班加心理压力,那滋味只有干过的人才懂。我有一个自己坚持了几年的习惯:割接前的一天下午到晚上,不再碰任何现网操作,专心把割接方案从头到尾再看一遍,把备用回退包的位置、回退步骤确认清楚。有时候磨刀不误砍柴工,提前几小时把状态调整好,比硬撑着疲惫头脑去干大事要靠谱得多。
3.4 容灾与负荷管理:不出问题的时候才是真正干活的时候
核心网有个特点:平时看起来一切正常,异常往往突然降临。所以“闲时”其实是在准备“忙时”,这是核心网运维和无线侧比较大的区别。
容灾管理关注的是池组化部署、负荷分担、自动倒换机制。平时要定期做容灾倒换演练,确保主用网元挂掉的时候,备用网元真的顶得上。这个“真的”很重要,很多人平时只看容灾配置是开了的,从来没验证过,真到故障那天才发现倒换脚本报错,那才是灾难。
负荷管理关注的是各网元的CPU、内存、信令面流量、用户面带宽。核心网新业务上线前,必做负荷评估。比如引入一个新的视频服务,得估算它会带来多少信令开销、多少用户面流量,判断现网容量够不够、要不要扩容。我见过一次用户面网元带宽被打满,排队机制生效导致时延急剧变大,用户体验直线下降。后来复盘,问题不是设备能力不够,而是上线新业务之前没有估算新增流量。
4. 无线与核心网的协同作战:端到端问题的定界方法论
干了无线和核心网两边,我最大的收获之一是掌握了“端到端定界”的思路。很多网络问题,你无线看是正常的,核心网看也是正常的,但用户就是不满意。问题不出在两端,而是出在端与端的连接和协同上。
4.1 接口与协议:两个领域对话的“共同语言”
无线和核心网之间不是随便就能对接的,它们之间走的接口和协议是标准化的。不同代际的网络有不同的接口组合,但本质都遵循类似的分层逻辑:RAN负责空口的无线资源管理,核心网负责业务的接入控制、会话管理和数据转发。
这几个接口的物理形态不同,有的是光纤直连,有的是经过传输网络承载。但不管形态怎样,两边都要严格按协议规定的消息格式和流程来交互,任何一个字段的配置不一致,都会导致业务失败。
我工作中遇到过太多次这种“不一致”导致的故障。最典型的是跟踪区配置不一致:无线侧小区广播的跟踪区标识与核心网配置的移动性管理参数不一致,就会出现用户做位置更新被拒绝,表现为手机信号满格、但没有网络信号。这种故障从无线看指标完全正常,从核心网看也是一切正常,但用户感知就是“没网”。定界这类问题,唯一的路径就是沿着信令流程逐条比对配置参数。
4.2 一个典型的端到端故障定位实战步骤
拿“用户附着失败、无法注册到网络”来举例。端到端排查的思路是:从无线侧接入,逐段向上剥离,直到找到问题所在。
第一步,看空口。信令里无线侧是否正常建立了无线链路。如果空口就有问题,优先查覆盖、干扰、资源。
第二步,看初始上下文建立。无线侧把用户上下文发给核心网,核心网返回接收确认。如果这里失败,多数是核心网侧的认证、订阅数据或能力交互问题。
第三步,看核心网内部流程。核心网是否需要到数据库取签约数据,签约数据里业务是否被允许,用户是否欠费停机,这些都会导致附着拒绝。
整个排查过程,最核心的方式就是“分层剥离”:每一层只要确认正常,就把这一层排除掉,向上走。走到哪一步发现异常,那问题就在这一层或者它和相邻层的边界上。
跨团队协同的时候,最忌讳两边互相甩锅。无线说“我这边信令正常,是你们核心网拒绝了”,核心网说“我这边正常,是无线没建立成功”。正确做法是拉会,两边把时间戳对齐,把同一用户、同一时刻的信令记录拿出来,从中间接口位置开始对比。谁的记录里这一步失败了,就顺着失败原因往下查。保持冷静、对数据说话,是跨域定界最基本也是最重要的原则。
4.3 联调测试:新功能上线的必经之路
无线和核心网协同还有一个高频场景是联调测试。每当无线侧引入新功能、核心网升级新版本、或者整体组网规模调整,都要做端到端联调。
联调测试不是“随便拨几个电话试试通不通”,而是要覆盖完整的业务流程场景:
- 业务正常流程:语音呼叫、数据业务、位置更新、切换、附着去附着,每个业务全流程走通;
- 业务异常流程:关机、离线、无信号、签约缺失、网络拥塞。异常流程常常大家忽略,出了问题才想起来联调的时候没测过;
- 极端场景:大量用户同时接入、网元倒换、传输中断恢复。这种场景能模拟出很多平时想都想不到的问题。
联调测试还有一个隐藏价值:它能让无线工程师和核心网工程师坐在一起,把两边的认知差异暴露出来并拉平。我见过联调测试后,无线侧才发现对侧某个重选参数理解错了;也见过核心网侧联调时才发现某个能力协商字段一直没配置对。如果没有联调,这些问题上线后就是批量投诉。
5. 一套可复用的通信日常运维工作流
十几年下来,我个人沉淀了一套自己的日常运维工作流。这里不夸大说是什么“最佳实践”,就是一套我用了很多年、出错率很低的土办法。
5.1 项目侧的标准化流程
项目侧的工作,我基本按“计划、执行、检查、复盘、沉淀”五步来走:
- 计划:今天要做什么、影响哪些网元、谁复核、谁操作、谁通知客户,全部列成一张表。没有计划的操作一律不做,这是我在无线侧踩过坑之后立下的规矩。
- 执行:按计划操作,操作过程中每一步都要有记录,包括操作时间、操作人、操作命令或界面、结果输出。这个记录既是给自己存档,也是将来复盘的第一手材料。
- 检查:操作后立即验证。改完参数,立刻看指标变化;开完站,立刻做单验。不要等到第二天甚至下周才发现问题。
- 复盘:当天过一遍今天做的事,有没有异常、有没有偏离计划、有没有可以改进的地方。我觉得这是成长最快的一环。
- 沉淀:把这次的操作步骤、遇到的问题、解决办法写成文档或者脚本模板。下次做同样的事,直接调用,效率翻倍。
5.2 运维侧的例行机制
运维侧日常我坚持四个“固定”:
- 固定时间巡检:每天到岗第一件事和下班前最后一件事,看一遍全网告警和指标趋势,形成肌肉记忆。
- 固定记录格式:巡检结果、变更记录、故障处理记录,统一模板。方便后期检索和统计分析。
- 固定变更窗口:所有非紧急变更,固定安排到业务低谷执行,并且经过审批和复查。
- 固定经验分享:团队每双周做一次案例分享会。大家把手头遇到的怪问题拿出来聊,互相启发。很多排查思路就是在闲聊中被点亮的。
5.3 把重复的事自动化,把重要的事留给人
做运维做了这么多年,我非常支持自动化,但我也一直提醒自己:自动化要自治标,不要自治本。
日常那些高频重复的操作,比如批量查告警、生成日报、定期备份配置,完全可以写脚本自动执行。我自己用Linux命令配合脚本批量拉取设备状态,确实节省了大量时间。但真正关键的变更操作,我还是坚持人工过一遍,至少人工复核脚本内容和影响范围。自动化的意义是把人从重复劳动里解放出来,去做决策和判断,而不是把人完全踢出流程。通信网络出事的时候,需要的是人脑的判断,不是一个机械执行脚本的机器人。
我会建议新人尽早学一点命令行、脚本编写和数据处理能力。通信行业每天都在产生海量数据,能用工具快速处理数据的人,就是比手动翻网页的人效率高几个量级。尤其是Linux、数据库SQL、脚本语言这三样,在核心网侧几乎是必备,在无线侧也越来越吃香。
6. 这些年踩过的坑:常见问题与排查技巧实录
写干货文章,光讲流程不讲坑,等于没写。下面几条,都是我亲手踩过的,每条背后都有血泪。
6.1 割接翻车记:没核对差异就下发,回退都救不回来
有一次版本升级,升级包手册里写得很清楚,某个参数默认值从“不启用”变成了“启用”。升级前对比差异的时候,我发现现网的配置恰好就是这个参数的旧默认值。按理说这个差异是要在升级后人工处理转换的,但当时赶进度,我略过了差异确认,直接跑了升级脚本。
升级后,所有和小区的接口协商里都带上了“启用”这个参数,对端的老版本网元完全不认识,直接拒绝协商。结果就是这一片的业务开始批量失败。
幸亏影响范围还比较小,我们立刻回退版本。但回退的时候又发现,升级过程中这个参数已经写进了数据库,回退后状态不一致,还是要手工修复。那次折腾到天亮。
从那以后,我给自己立了三条铁规矩:
- 任何升级割接,升级前必须做“配置差异清单”并逐条人工确认,不能只看版本说明书;
- 升级中的自动转换逻辑必须单独验证,不能假设它一定正确;
- 回退方案必须包含“回退后配置修复”步骤,不能想当然认为回退到上一版本就万事大吉。
6.2 盲目调参:为了指标好看,把整片区域的干扰全搞乱了
有段时间某个区域的下载速率连续两周没达标,我急着交报告,没做详细分析,就凭经验把一个功率相关参数调高了2dB,想着功率大了信号强了,速率自然就上来了。
结果是,这个参数一调,整个区域的干扰抬升,周边基站的上行底噪飙升,不仅这个区域的速率没恢复到目标,反而周边两个原本正常的区域也被拖下水。用户投诉直接翻倍。
领导看到指标恶化的第一时间就下令回退。但就算回退,那两天的用户感知损失也没法挽回。后来复盘我才真正明白一个道理:功率参数的调整从来不是只影响本小区,它会影响周边所有小区的干扰环境。改参数之前至少要做一轮周边小区的干扰评估,而且参数不能拍脑袋定,要看历史趋势和周围环境的举证数据。
现在我做参数优化,默认原则是:一次只调一个参数、小幅度微调、改完立即验证、如果没效果就回退再研究。磨刀不误砍柴工,慢就是快。
6.3 信令盲抓:没过滤条件,抓到能手抽筋
前面提过刚转核心网时的糗事,这里再展开说一下。有一次排查一个用户投诉视频卡顿,我操作时没设置过滤条件就启动信令跟踪,结果一下子跟踪了半个网元的流量,大文件让分析软件直接卡死。再后来,我把分析软件关掉重新打开,才发现真正有用的跟踪数据早被海量无关流量淹没了。
那次之后我学到一个重要的排查习惯:先想清楚要看什么,再去抓数据。信令跟踪开始时就要把用户的号码和接口信息填进去作为过滤条件,只跟踪这一个用户、这一个流程。无关数据放得越少,定位越快。操作结束时间也很关键,跟踪要覆盖整个业务过程,宁可多开十分钟也不要刚打开就发现用户业务已经做完了。
现在我还要求自己在抓包前,先在纸上把预期流程和关键字段写下来,抓完包立刻打开对照,一眼就能发现异常点在哪里。有了这份预期清单,分析效率至少提升一倍。
6.4 新人的两个通病:查问题没有时间轴,修故障没有优先级
带过的不少新人都有一个毛病:一接到故障工单,不去确认时间线,马上就开始翻配置看日志。
时间轴分两种,一种是这个故障是什么时候开始出现的,一种是这个用户在什么场景下触发了这个故障。不知道开始时间,你就无法比对这个时间点前后发生了什么变更。我后来带团队,第一个要求就是:接到工单先问三句话——什么时候开始的?影响多少人?最近有没有做过变更?三句话问完,一般问题能缩小一半范围。
还有新人在处理故障时分不清“尽快恢复”和“抓住根因”的区别。明明可以直接复位解决的问题,非要先抓包分析一个下午。我的建议永远是先恢复业务,再研究根因。业务恢复是第一步,追根溯源是第二步,顺序不能反。
7. 给通信工程师新人的几句实在话
入行十几年,回头看在这个行业能走得远的,技术能力只是一部分,更多是认知、习惯和心态层面的东西。
第一,不要只停留在操作层面,一定要懂原理。会用网管点鼠标、会敲几条命令,只是入门。真正拉开差距的,是你看到一条信令,能明白这条信令从哪个协议层来、带什么信息、下一步期望什么;看到一个计数器指标,能说出它怎么计算的、受什么因素影响。原理通了,你才能推断未知问题,而不是只会处理已知故障。
第二,主动跨出舒适区。如果你在无线侧干了三五年,有机会接触一下核心网、传输网或数据通信,不要拒绝。通信行业的发展趋势是融合,一个全栈视野的工程师永远比单点专家更稀缺。我自己的体会是,从无线转到核心网之后,回看无线侧的很多工作,理解完全不一样了,以前只知其一,现在能看全貌。
第三,重视文档和沉淀。很多人觉得写文档是浪费时间,其实文档是思考的外化。你把一个故障的处理过程写清楚,就是在倒逼自己理清思路。坚持一年下来,你手里等于积累了一个个人知识库。行业里有句话说得好:找问题的能力,就是在资料库里的检索能力。文档就是你的资料库。
第四,善待自己的身体。通信这行夜班多、割接多、突发故障多。熬夜、长途跑站、半夜回不到床上都是家常便饭。我年轻时连续熬夜不当回事,现在开始还债了。定期体检、能睡觉就好好睡、头盔护膝这些装备宁全勿缺,都是长远投资。这个行业拼的是谁能扎实干得久,不是谁能连续熬夜熬得狠。
最后说一个我特别深刻的感受:通信工程师这份工作的价值,永远要在“用户感知”上对齐。你优化掉一个故障、恢复一个小区、完成一次割接,最终落点都是让某个具体的人能顺畅地打电话、看视频、刷消息。指标的提升和技术上的成就当然让人开心,但最有成就感的时刻,始终是收到投诉后解决了问题,用户说了一句“现在好了,谢谢”。这大概是支撑我十几年没离开这行的最大原因。
做这一行,辛苦是真的,但那种“让网络跑得更稳一点”的踏实感,也是真的。如果你正走在路上,或者准备入行,希望这篇复盘能给你一些参考。通信技术更新很快,但底层的工作方法和思维习惯会陪伴你很久。祝大家都能在这行找到属于自己的节奏和方向。