前几天偶然在朋友圈重读中学时候魏巍的《谁是最可爱的人》,突然想到我们的维护工作也同样有这样普通而伟大的战士。前进的路上,没有鲜花,但我们有客户网络的安全运行;没有掌声,但客户一封appreciate mail是对我们最大的褒扬。在平凡的维护工作中也能够找到成就感和使命感,也是支撑我们继续前行的动力之一。
印度网络存量的数据,占整体东南亚地区部接近50%,是海外第一大存量市场,每年的客户问题单达到2万张以上,80%为紧急和重要级别的问题单,其中传送网占60%的问题单量。印度网络连续三年无一起人为事故,网络整改持续100%,这些都是160 多名专职维护人员,发挥工匠精神,将客户网络安全稳定运行当成自己的事情.
五天五夜换来“real friend”
2009年初,新设备OSN8800发放新业务,需要配套网管升级,这是U2000第一次在全球大网应用。但是我们面对的难题多多:镜像实验室不具备现网的测试环境,只进行了基本的功能测试;客户计划多变,给原来准备的一周升级时间缩短至两天,这对于我们来说,简直是火速也难完成啊。
经过一番沟通,客户仍无半点宽限,只能按照要求如期进行升级,整个过程涉及操作系统、VERITAS、数据库、网管版本的操作,跨两个大版本,而且所有的操作都是手工命令行输入,输错一个字符或空格,都得推倒重来。
刚开始,初始过程一直很顺利,我们还有一点小窃喜,如此进行完全可以在两天内完成。很快就“乐极生悲”,由于磁盘空间不足,需要删除部分冗余部分,我们这边一时疏忽误删文件,导致整个系统不能正常启动。
大家当时第一反映就是:升级出问题了!于是我们紧急寻求技术支持,后来通过备机拷贝的方式终于恢复文件系统,可是已经浪费了部分时间。2天后,我们总算把备机升级到目标版本,但由于版本兼容性问题,网管升级成功后,告警和事件太多,又直接把网管冲瘫,导致无法使用。真的是一波未平一波又起啊!我们只好再次寻求研发紧急定位,在反馈无数次数据和日志后,终于找到问题根因和解决方案,大家心中的石头终于落了下来,但是两天的操作窗口已过,主机还没有进行升级,导致新业务也无法发放。
客户的忍耐终于到了极限,在一连串提出十几个问题后,开始投诉。经过再三的澄清和解释后,客户才愿意给我们申请3天的操作窗口。没有想到,主机升级快要完成的时候,最坚挺的服务器硬件竟然在此时宕机了,这造成的直接后果就是修复完成后,原来所有操作都需要重新来一遍。当我们再次跟客户解释的时候,客户直接要求网络维护的TD老霍停止操作,立即从机房出去,根本不听任何解释,不停地给代表处领导打电话和邮件投诉,要求华为立即换人且在一天内完成所有操作,否则会进一步投诉升级。
老霍是2008年底来印度做维护的,他是一个特别拼的人,当时他已经3晚没有好好休息了,身心疲惫,真的感觉天都快塌下来了,已经顶不住了。从来不抽烟的老霍,无力地走到室外买上一只印度烟猛吸几口,强行打起精神,再次回来向客户沟通保证:一定能在24小时内完成所有操作。客户看着老霍充满血丝的眼睛,没有说什么。
就这样,在解决了十几个升级疑难杂症后,经过五天五夜,终于将版本升级了上去。这些天,他没有回到宿舍休息过,一张报纸就当床,困了就在报纸上睡一会儿,醒了接着继续操作。客户晚上下班,我们在,客户早上来上班,我们还在,终于完成了U2000网管第一次大网商用,成功发放业务。
几年后,当我们和客户再次聊起这段经历的时候,客户只说一句话“Huo is our real friend”,现在的客户已经从原来定期给公司发投诉邮件,变成华为坚定的支持者,主动和华为进行业务对齐,和我们一起保障网络稳定健康运行。
中国的“美食”是白水面条
照熔是2014年从美丽的西子湖畔直接到印度来做维护的,来印度后直接到客户的NOC中心所在城市PUNE(城市面貌相当于中国西部一个县级市)常驻客户那里进行技术支持。
由于是搬迁友商网络,网络混合组网复杂,业务类型和特性多,也是华为新设备第一次在客户接入层网络大规模商用,搬迁交付量大所以每天有大量现网操作,客户网络基建环境不好,每天平均十个以上紧急问题的强度,但客户仍然按照欧洲运营商的网络运维要求快速恢复解决。
那段时间,每天能够按时吃饭都成了奢望。有一次正要去午饭,突然现网的Google业务出现备用链路中断故障,Google 在企业业务里面是TOP1的级别,客户要求我们立即排查并消除网络隐患,通过梳理业务发现,这条业务经过三个不同网络,中间还穿插其他友商设备,端到端涉及40个网元,通过二分法排查,逐渐缩小问题范围,初步发现是由于某个网元的数据单板收到大量的协议报文导致CPU处理协议报文占用过高,插拔单板后业务暂时恢复了,但协议报文还是非常多,需要找到协议报文的来源,但是全网都是专网业务而且与友商对接,通过再次端到端业务梳理以及广播报文抓包,发现是友商的一套设备误发送了大量协议报文,经过专网多次叠加后,影响了整条Google备用链路的正常运行。
问题根因找到了,解决问题之后,客户脸上也露出久违的笑容了,此时照熔才发觉自己很饿,原来已经错过午餐和晚餐,一看时间已经是晚上22点了。只能是赶快回去煮点面条充饥,其实长期吃麦当劳和印度糊糊已经有点厌倦,吃着白水面条就着“老干妈”就已经是美食了。一般匆匆填饱肚子后,就要抓紧时间休息,养足精神,因为谁也不知道什么时候紧急问题就又来了。
后来宾馆老板问过我们:“你们这群中国年轻人怎么这么爱吃白水面条?”他以为这是中国最好的美食了,还要求我们教他们做这个,说以后可以开一家中餐馆,就做白水面条。直到2015年8月,PUNE宿舍建立了邦食堂,兄弟们终于告别了印度糊糊+白水面条的日子,条件在一天一天改善,客户的网络也在兄弟们持续梳理下变得听话起来,朝夕相处的客户和我们经常周末小聚,把酒言欢,畅谈业务改进和个人理想。
印度兄弟一家亲
印度是一个低成本的市场,网络存量巨大,我们印度的专职维护队伍中印度籍员工接近90%,可爱又敬业的他们支撑着印度几亿人的语音和上网业务,没有他们就无法实现“One Team, One Goal,One Success”的目标。
Sunny Kang来自印度最富裕的旁遮普邦,人如其名非常阳光帅气,2015年初作为应届生加入华为,入职就到客户NOC中心做接入网的版本升级工作,近7000套设备量升级,在接下来的100天时间里面,经常是看见Sunny手不离一个小本子,每天都在小本子上写写画画,出于好奇了解下才得知,小伙子由于刚加入华为,没有碰过设备,缺乏系统培训,只能把几十页的操作指导书里面的操作关键点全部按照自己的理解全部记录下来,然后反复和中方专家确认自己的理解是否正确。他为了避免网上操作误判,经常是凌晨操作完成后,记录当天的操作过程的问题和解决方法。就这样,在接下来的100天网络升级中,做到网络零事故,零中断的奇迹,我们都不相信是入职只有几个月的本地员工做到的。
目前Sunny已经成为重大操作和网络优化多挡一面的高手,不变的还是他大男孩羞涩的笑容和依旧不离身的小本子。
Pankaj Mandal 2015年初加入华为,是我们A级项目的网络维护TD,长期和客户一起办公,他每天两部手机24小时在线,分别对口客户和友商代维团队,号称技术支持热线。每次邦客户的任何问题和协调工作最先就是想到他,每次看见他都是戴着耳机在on-call与不同邦客户进行沟通,从早到晚,从不间断。 靠着优秀的业绩,2015年Pankaj和他的团队获得了维护项目的金牌团队奖。
Ashutosh 印研所微波专家,回答任何人的问话,结尾总会加上 Yes Sir或者Ok Sir。他长期在Pune出差,今年他女儿出生,Ashutosh陪护了老婆一周之后,又持续投入工作。就是这样忘我地工作,Ashutosh 2016年完成了14万套微波设备的巡检,1.9万套微波设备的网络空口性能优化,600多条微波ERPS环网链路的优化。
结语
维护这些年,半夜起来恢复业务,兄弟们凌晨和周末紧急加班攻关问题已是寻常事,每一段最爱的手机铃声,都会在无数午夜“夺命连环call”后变成魔音然后被我毅然换掉。但是,每到疑难问题被兄弟们攻克解决的时刻,获得客户认可的声音,巨大的成就感瞬间让人热血沸腾,疲惫一散而去,满心欢喜,只想与整个世界分享那一刻的喜悦。
因为我们知道,我们的“最可爱的人”就是我们这群普通的维护工程师,他们没有什么豪言壮语,只是在年复一年,日复一日的网络维护中战战兢兢,如履薄冰,不忘初心,以行践言地看护这些网络。在网络维护的路上,他们一直在系统的思考和推进,不放过每个CASE背后的“从失败中学习进步”,推动维护业务的持续改良。