走进华为
学习华为管理经验

华为海外:枪林弹雨中成长

华为考察

编者按
如果把固定通信网络比喻成一根线,那接入设备就是离客户最近的那一段,也正因为这个原因,他们也是排头兵,冲在通信沙场的最前面,攻克了一个个难关,撬开一座座城门。135

80年代初,我家里装了电话,要打电话,必须先摘机接通话务员,告诉话务员接哪接哪,等一会,对方如果在线,就可以接通通话了。小时候的我,感觉电话很神奇,一直想拆开话筒看看里面是什么东西。

没想到,大学毕业后的我,却从事了与电话相关的工作,电话对我来说不再神秘。也许这就是缘分。

 

最初的梦想

1999年,我进入华为交换机产品线,思想导师告诉我:“进了华为,就是和一群有梦想的工程师一起工作。”

我问导师:华为人的梦想是什么?导师告诉我说,90年代初的中国,通信设备市场主要被北电、西门子、富士通、阿尔卡特等国外厂商占领,当时装一个电话光初装费就要好几千元,这对很多家庭来说都是一笔不小的开支。因此华为从成立之初就立志要研发自己的通信设备,还要卖到海外去,为全世界的人们提供高质量的通信服务。导师的解释,让我热血沸腾,觉得自己加入了一支光荣而伟大的队伍。

梦想说起来可以雄心万丈,但做起来却是无比艰难。

 

老鼠尿引发的疑案

我们没有积累,没有经验,没有人可以告诉咱们该怎么做,我们有的只是激情和信念,当然也少不了成长的弯路和学费。

记得当时某地发生一起设备起火事故,我们的用户板异常烧毁,一线投诉,希望尽快解决。对于研发人员,只有找到根因才能解决问题,于是大家在家里试图复现各种供电异常,但怎么也重现不了,一群人绞尽脑汁多方排查依然束手无策。

有人提议,不如把现网运行的设备拿回来看看有什么发现?这个想法得到大家的一致认可。设备拿到手后,我们反复琢磨,发现单板上有水流过的痕迹。大家围着设备脑洞大开,通信设备又不是空调,为何会有水痕?是不是有老鼠钻进机房,把尿撒在单板上了?

可是假设容易实现难,要复原现场,从哪里找只老鼠呢?大家找了点自来水尝试淋到单板上去,没有重现。这时,我的导师不知什么时候走出去了,过了一会,又回来了,带了一小瓶橙黄色的液体回来,说这就是老鼠尿。我不由大赞,想想还是师傅厉害,那么快就抓到一只老鼠。大家把黄色液体浇了一点上去, 顿时一股噼噼啪啪的声音伴着火光,现象重现了!大家顿时一片欢腾,不顾异味,围上去看单板上的起火点。

这个问题引发了更深一层的思考,老鼠为什么会跑到通信设备里去撒尿?我们设备的运行环境是怎么样的?

为此我们的维护人员走遍了各省市,才发现设备的运行环境远比想象的恶劣。

在城市,通信设备有专门的机房,但在农村,设备基本都放在条件简陋的民房里,旁边还常常堆着粮食、被子等杂物,民房旁边甚至就是猪圈。南方的冬天屋子里没有暖气,所以一到冬天,散发热量的通信设备机房就成了小动物们的“五星级酒店”,老鼠进去睡觉撒尿就不足为奇。

除了老鼠的威胁,威胁还来自于其它。如安徽某地机房由于长期无人进出,都被鸟儿占领筑了鸟巢;广西由于常年有雨水,房子里不仅阴暗潮湿还有10厘米厚的淤泥;而在东北,甚至有大雪将我们的机房全都埋了……

136

产品在农村机房环境——鼠窝137产品在农村机房环境——蜂巢

我们研发人员就是不断去走访客户,解决问题。现在,华为的设备能经受得了从沙漠到高原、从极寒到极热的各种考验,甚至能经受常年水泡,也被人笑称为“可上九天揽月,可下五洋捉鳖。”

罗伯特·卡帕曾说过:“如果你的照片拍得还不够好,那是因为你离战火还不够近。”这场由一泡老鼠尿引发的疑案,教会我们工程师,永远要了解贴近客户一线的场景。

 

近在咫尺的雷公电母

小时候,我们就知道,打雷天不能看电视,因为电视要通过屋顶的天线接收电视信号,一旦打雷电视就很容易损坏。

我们的通信设备也一样,用户板连接着成百上千对出局电话线,很容易遭受雷击的破坏。为验证用户板抗雷击能力,之前最传统的方式是把设备放在现网进行考验,我们为此专门绘制了一个全国的雷电分布图,在雷雨季到来前,我们就把设备提前放到雷击高发区域,但这种方法验证周期太长,难以支持快速验证和改进。

雷击造成的设备瘫痪让大家头疼不已,一次我看到维护经理杭炯在邮件里说到:“维护经理位置呆久了,我特能理解前方和客户的心情。有时网上业务中断频繁,随时有瘫机的危险。面对大量的用户投诉,这种境况多一天都是令人窒息的。”

有一天在回家路上,车上的电台正在发布暴雨预警。我突然想,为什么我们不模拟雷击环境做测试呢?这样就可以把测试做充分,而不是等待暴风雨的发生。

于是,我们四处寻找模拟雷击的设备。在新用户板研发的时候,我们找厂家定制了可以模拟雷击电压的发生器,在实验室里装了几台,在每一个版本的硬件回来后,我们就用雷击发生器,反复做几百次的模拟雷击测试,检查用户板在反复雷击之后的各种故障现象。

记得2001年华为的用户板在铁通开始规模发货,一年就超过了200万线,而我去生产线,看着成百上千的单板正在源源不断的流过,心里既自豪又担心,生怕再出现以前的可靠性问题。后来根据公司的统计,新用户板的雷击返还率得到了显著改善。

黄金时代的第一步

2003年,宽带接入的黄金时代来临了,从话音建设规模转入DSL宽带建设。我们琢磨,是不是可以用一块单板同时解决宽带和语音接入的需求呢?因此,Combo卡应运而生。Combo卡面世后,成为华为接入产品的王牌武器。我们以为这项研发工作已经胜利凯旋,万万没想到万里长征才迈出第一步。

2004年底,一个新的挑战来了:BT(英国电信)要建设基于ALL-IP架构的21cn网络,需要我们的综合接入设备UA5000支持Combo卡,但需要在相同尺寸下提升一倍密度才能满足英国电信的要求。看上去是不可能完成的任务。

公司非常重视这个大T抛出来的橄榄枝,一线营销同事吴海宁当场就答应了下来。记得在回国前的那个早晨,我在伊普斯威奇(Ipswich,英国东部的一个城镇,是BT所在地)的公园里来回踱步,心里想着的是怎么回去向兄弟们解释:怎么就接了这么一个大活回来?

开弓没有回头箭!我们只能按照32线Combo卡的需求进行分解,选择了当时业界密度最高的芯片组进行设计。

研发进度非常紧张,大家经常在凌晨两三点才能回家,部门主管周劲林每次陪着战斗到最后一刻,还开车送我们回家。新员工孙建刚,由于家住得远,经常在公司打个地铺睡觉,第二天又早早开始干活了。我们一直劝他回家睡觉,他说他不想虚度光阴,只有做成了事才能放心回家睡觉。

项目的困难真有点超乎想象,走到一半时,我们突然发现选择的高密度芯片的内部空间资源出了问题,如果推倒重来,那整个项目完全失控,无法向客户交代。正在这关头,有人出了一招,芯片空间不够就覆盖原先的代码,到需要用原先的代码的时候,再从单板软件上面下载下来。方法虽好,可新问题又来了,单片机加载效率很低,加载一次要近十分钟,这是完全不能接受的。于是,我把负责这部分软件的同事找来,让他从底层汇编开始重构代码,尽管是突发的需求,他答应了。这就是华为人,不轻易说不。他很给力,两天后跑过来说只要2分钟了,我说还需要提高。又过了几天,他跑过来说现在只要1分钟了,我咬着牙说还要优化。就这样,最后他居然把这个加载时间优化到了4秒钟以内。听到4秒那一刻,我真的很感动,为这些同事。

 

达摩克利斯之剑

BT对产品可靠性有非常严苛的要求:标书中规定,如果一年平均业务中断时间超过5分钟,华为必须承担高额的罚款。这个约束,犹如一把达摩克利斯之剑。

记得2005年的一天,在投板前做最后一轮硬件评审,我和肖瑞杰对着四十多条遗留的风险问题,一条条的评估,能改的改,实在不能改的,只能现场拍板承担风险。在搞定最后一个问题时,已经是第二天清晨。我们和周劲林一起去食堂吃早饭,心里还是感到很不踏实。老周看出了我的忐忑,安慰我说:别担心,太阳会照样升起。说句心里话,在那个时刻,特别的需要鼓励。

就这样相互鼓励着,我们这些毛头小伙把Combo卡做到了业界最高密度,成为突破BT大门的关键一脚。华为也从“备胎”转为主流供应商,为英国的上千万用户提供了可靠的固定宽带服务。

2015年的一天,在英国一线同事的项目周报中,看到当年在BT部署的综合接入设备UA5000设备,即将逐步被我们的下一代超宽带接入设备MA5600T 设备替代时,心里压了快十年的那块石头终于放下,那天中午和同事一起去吃了一个自助餐,对自己算做一个安慰和奖励。

 

从磐石里挤出水滴,铜线还能活一百年

通过电话线拨号上网是最早的互联网接入方式,但铜线的速度一直上不去,因此前些年,“光进铜退”的声音一直不绝于耳。所谓光进铜退,就是说用光纤代替铜线。

但现实并非大家想的那么简单。虽然光纤的成本非常有吸引力,但运营商最痛苦的是光纤的布放,尤其是最后一段光纤的布放。

在欧洲很多国家,重新布放光纤,意味着要在风景优美的花园里挖沟,或者在受保护的传世古堡、名胜古迹里穿墙打洞,不仅成本非常高,而且安装时间很长,有些根本不可能实现。所以在很多地方,客户因为铺设光纤会破坏室内装修而拒绝光纤入户!相比而言,现成的铜线如果能够提速到媲美光纤的带宽,无疑是又快又省的好方法。

为此华为从2011年开始投入新铜线Vectoring(矢量化串扰抵消)的开发,希望电话线也能达到一百兆的传输速度。在当时,串扰抵消技术在业界还停留在理论研究阶段,华为也刚刚完成算法的积累。在产品的研发过程中,我们遭遇到了理论和实现之间的巨大鸿沟,要在稍瞬即逝的5微秒内完成数以亿计的计算,即使使用了业界最先进工艺的FPGA(大规模可编程逻辑)芯片, 系统的功耗也远远超过能承受的门限。研发的难度空前的大,很多时候我们不断的优化设计,只是为了争取能减少几个纳秒或者节省几十毫瓦的功耗。加上市场进度的压力,把项目组压得整天喘不过气来。

面对一个又一个不可能完成的任务,就如《亮剑》中李云龙所说“城门楼子是块难啃的骨头,老子就是崩了门牙,也要在鬼子的增援部队赶到前咬开它”。当时我和负责芯片的项目经理开玩笑说,要是东西做不出来,咱俩干脆打上一架,让公司把我们开除算了。说句心里话,那绝对是一种解脱,而且不会丢技术团队的脸。

天无绝人之路!华为人不是那么容易被打倒的。研发的兄弟们还是拼了,不断跨过一个个深沟险壑,在经历了无数个挫折后,2012年快到春节的一天晚上,我们在实验室里把一个刚刚编译出来的版本加载到系统上然后启动,大家屏息静气,架子上一排一排的Modem(调制解调器)的灯在黑暗中开始规律地闪烁。正在操作系统后台的是项目经理张健,他突然大喊道:“上来了上来了”大家一下子都冲到他的计算机前面,看到Vectoring端口的激活速率超过了100MBps(100兆/秒),达到了理论值。实验室里顿时一片欢腾,很多同事激动地击掌相庆。

随后几个月的路同样布满激流险滩,不断的遇到挫折,不断的攻克难关,产品也一天天的走向稳定。最后,我们的Vectoring产品以最高的性能和最大的容量,在2012年独家拿下了瑞士电信、英国电信以及爱尔兰电信等大客户的国家宽带提速项目,还以业界最大容量的矢量化VDSL设备在2012年10月份获得了世界宽带论坛(BBWF)的最佳宽带设备大奖。

1382012年和瑞电技术创新合作的合影

由于华为的技术突破,“光进铜退”的声音变成了“光进铜赢”。华为终于可以骄傲的向世界宣布,欧洲古堡的人们也可以任性上网冲浪,铜线至少还可以再用一百年!

 

在瑞士人眼里,我们能做出治愈系的东西

热爱技术的人,常常希望在翻过了一座高山后,会有更高的一座山在等着,虽然会有痛苦,但也让人兴奋。铜线百兆带宽的鸿沟刚刚被跨越,我们又朝着千兆带宽的目标前进。在龙国柱博士带领下,预研团队仅用一年时间,突破一系列的技术挑战,于2011年自研出了原型机,并在一对铜线上,近距离内实现了1000M的带宽。

这个样机很快引起欧洲运营商的强烈兴趣,瑞士电信在瑞士中部的Riggisberg建立了样板点,邀请了欧洲各个国家的监管机构和政府参观,大大的改变了当时主流运营商对于铜线上的带宽潜力的认识。在随后的国际电信联盟的会议中,基于华为样机里的关键技术定义了新一代的铜线接入标准–G.Fast。

样机之后的产品开发更有挑战。在瑞士,我们的一体化设备要靠近最终用户,就必须部署在城市和乡村的地下管道井中,春天融化的雪水会流入管道井,把我们的设备浸没几周,但设备仍需要持续稳定的工作,而且要持续工作二十年以上!

2013年初我们去瑞士调研安装环境,其中的一个人井就在山脚下的草场里,当我跳下人井去看设备安装环境时,旁边的一只奶牛好奇的凑了过来,看着井下的我,似乎不屑的摇了摇头,脖子下的牛铃铛就叮叮当当的响起来,那意思似乎在说:“你们真的打算这么做么?

139140设备在瑞士人井的安装现场

 

经过两年的努力,2015年在瑞士北部一个风光优美的小镇Bibern,瑞士电信终于开通了全球第一个G.Fast用户。Bibern小镇是一座由群山、森林、河流、湖泊环绕的美丽村落,有200多居民住在这里,享受着大自然赐予他们的宁静与幸福。然而美中不足的是,这里无线信号基本没有,宽带慢得令人发愁。

我们通过新铜线千兆技术,帮助瑞士电信在这里开通了超高清业务,用事实证明铜线上同样可以实现媲美光纤的速度。当地的居民握着去现场参加开通仪式的同事的手,不停地说感谢。瑞电的副总裁Markus在给体验用户颁发“世界第一个G.Fast用户”的证书后说:“特别感谢华为,你们所作的工作非常出色,正是你们在巨大的压力下坚持不懈的努力付出,不断优化完善方案,最终使得我们能够站在这里,向全世界展示下一代宽带,展示瑞士电信G.fast 方案的第一个现实商用”。

141瑞士电信给世界第一个G.fast用户颁发证书

瑞士业务开通的当天,我们的同事Vivian同样感动和自豪,她说:“这个世界上,总有一些人,一些事,是美好到令人落泪的,是属于治愈系的,为他们服务,真好。”

 

富兰克林曾说:“惟坚韧者始能遂其志。”回顾在华为的17年,围绕一根电话线,从窄带语音开始做起,到几兆带宽的ADSL, 再到Vectoring VDSL,以及迈入千兆带宽门槛的G.Fast技术,我们不断丰富了全世界各地人们的沟通与生活,在公司取得商业成功的同时,个人也收获满满。回首最初的梦想,就如歌里唱的那样:“最初的梦想,紧握在手上,实现了真的渴望,才能够算到过了天堂。”

参观华为

赞(0)
未经允许不得转载:参观华为 » 华为海外:枪林弹雨中成长

参观华为

学习华为的文化与管理

联系我们联系我们