1995 年，具有前瞻性眼光的任正非已经敏锐地感觉到，将来不会有仅仅依靠区域市场生存的电信设备商，未来的电信设备商，都将会是国际标准化的。意识到这一点，从 1996 年开始，任正非就开始布局华为的国际化。
1996 年下半年，当华为做好了冲击国际市场的准备时，选择在哪个市场打响“第一枪”成了决策层争论的焦点。最终，华为高层决定复制国内的成功经验，采取“农村包围城市”、集中优势兵力攻击薄弱环节的策略，首先从电信发展较薄弱的国家入手，步步为营、层层包围，最后攻占发达国家。
俄罗斯和拉美市场是电信发展较薄弱的国家，因此很自然的就成了华为的目标。实际上，早在 1994 年，华为就已经对俄罗斯市场蠢蠢欲动。在随后的三年里，华为组织了数十个代表团访俄，前后达数百人才。同时，华卫也不断地邀请俄罗斯代表团前来访问华为。
虽然俄罗斯属于电信发展薄弱的国家，但华为在开拓这个市场时，仍然困难重重。据海外销售人员回忆，1996 年负责客户线的员工刚去俄罗斯时，一个地方一去两个星期，连个客户的影子都看不到，更不用说介绍产品了。
1997 年，俄罗斯经济陷入低谷，卢布贬值，一泻千里。当时，NEC、西门子、阿尔卡特这些国际巨头纷纷从俄撤资，但华为却没有“知难而退”，而是继续派出骨干力量前去开拓俄罗斯市场。后来担任华为独联体地区部总裁的李杰，就是在这样的背景下被派往俄罗斯。
1998 年的俄罗斯，经济萧条，又爆发了一场金融危机，整个电信业都停滞下来。李杰回忆说：“有在打官司的，有在清理货物的，官员们走马观灯似的在眼前晃来晃去，我不仅失去了嗅觉，甚至视线也模糊了，那时候，我唯一可以做的就是等待，由一匹狼变成了一头冬眠的北极熊。”这一年，李杰除了告诉俄罗斯“我们还在”，其他一无所获。下一年，他继续一无所获。
始终心系国际化的任正非，在日内瓦世界电信大会上提醒李杰：“李杰，如果有一天俄罗斯市场复苏了，而华为却被挡在了门外，你就从这个楼上跳下去吧。”
李杰被任正非一语惊醒。他开始马不停蹄地组建当地的营销队伍，培训后送往俄罗斯各个地区，然后以此为基础建立了合资企业贝托华这个营销网络。在不断的客户拜访中，李杰他们认识了一批运营商的管理层，并逐步与他们建立起了信任关系——但俄罗斯市场的开拓仍然异常艰难，华为从俄罗斯国家电信局获得的第一张订单只有区区12 美元。
即便如此艰难，华为还是锲而不舍的坚持在俄罗斯市场的投入。当普京上台使用铁腕手段治理国家经济时，俄罗斯的经济终于出现了“回暖”现象，而华为，也终于迎来了俄政府新一轮采购计划的头班车。2001 年，华为与俄罗斯国家电信部门签署了上千万美元的 GSM 设备供应合同。2002 年底，华为又取得了 3797 公里的超长距离 320G 的从圣彼德堡到莫斯科国家光传输干线（DWDM 系统）的订单。2003年华为在独联体国家的销售额一举超过 3 亿美元，位居独联体市场国际大型设备供应商的前列。
在进军俄罗斯市场的同时，华为也在进军其他一些国家，如泰国、新加坡、马来西亚等东南亚国家，以及中东、非洲等地的一些区域市场，都出现了华为人的身影。尤其是在华人比较集中的泰国市场，华为连续拿下了几个比较大的移动智能网订单。
发展中国家的连战告捷，让华为积累了一些开辟海外市场的经验，也让华为信心倍增。此后，华为开始向发达国家市场进军。在西欧市场，从 2001 年开始，华为以 10G SDH 光网络产品进入德国为基础，通过与当地有实力的代理商合作，产品成功进入了德国、法国、西班牙、英国等发达国家。不过，在北美市场，华为却始终没有根本性的进展。
在华为看来，所谓根本进展，就是在核心系统设备方面得到北美运营商的认可，而不是在手机等终端领域占有一些市场。任正非更在意的，是北美大运营商对华为技术（3G）的认可。而这一点，华为直到现在仍没有做到。
进军北美市场的艰难，与华为采取的“农村包围城市”的策略有一定关系。在巴塞罗那 MWC2011 展会期间，华为 CMO 余承东在接受时代周报记者采访时表示，“在北美市场，华为的重视程度不够。在早期受政治因素影响相对较小的时候，华为没有抓住宝贵的时间点，没有派能力很强的人去拓展市场。后来，当华为在规模上变大，已经引起关注之后，再想进入就比较困难了。”
这也算是华为进军国际市场时的一步错棋了。
整体来看，华为的国际化进程经历了寻求突破、赢得突破、全面突破三个阶段。
寻求突破阶段，主要在 1996 年到 1999 年这段时期。在这段时间里，华为的国际化可以说是一个屡战屡败、屡败屡战的过程。直到1999 年 8 月，坚持不懈的华为才迎来了国际市场上零的突破，而且还是个双喜临门——华为在也门和老挝正式中标。
赢得突破阶段，主要在 1999 年到 2001 年这段时期。在这段时间里，华为的主要工作就是让各个国家的客户认识中国、认识华为，最终与华为形成客户关系。
在赢得突破阶段，华为人最头疼的是海外客户不了解中国。通过长时间的摸索，华为人发现有相当多的国家对中国的了解仅仅停留在张艺谋所拍的电影上。许多看过《红高粱》、《菊豆》、《大红灯笼高高挂》等电影的外国人，无不认为中国人还停留在穿着布鞋留着长辫子的时代。
由于对中国有这种先入为主的印象，华为要想把几百万甚至上千万的设备卖给海外客户是不可能的。为了解决这个问题，华为采取了最简单也最原始的办法：请国外客户来中国考察，让他们看看现在的中国是什么样子，看看华为公司是个什么样子。
为了让海外客户深入地了解中国，华为制定了一个名叫“新丝绸之路”的线路，就是从北京入境，再之后到上海、深圳，然后从香港出境，或者从香港入境，再到深圳、上海，再到北京出境。
这种做法非常有效。当时有一些沙特的客户，故意穿着一些差一点的衣服来到中国，来到后发现不对头，他们发现中国和他们想像的完全不一样，大街上的人在穿着上也完全超乎他们的想像，于是他们赶紧再去买西装换上，这才去见华为的高层领导。
全面突破阶段，是在 2001 年之后。这一阶段华为的国际化进程有两个显著的特点，第一是欧美市场之外华为实现了全面突破，第二是原来瞧不起华为的欧美市场开始对华为进行一些战略上的遏制和经济上的遏制，以压制华为在各个国家市场上的发展。特别是欧美市场，对华为的压制特别大，以至于到目前为止，华为仍无法从根本上打进这些市场。
但是，不管怎么说，华为仍是到目前为止国际化最成功的一家中国企业。
总结华为的成功国际化，有四条经验值得借鉴学习：
第一，面对国际化进程中的艰难曲折和种种压力，企业不能轻言放弃，而必须充满信心，持之以恒。如果因为有一些困难和曲折就放缓全球化步伐甚至停滞不前，企业的国际化永远没有成功的可能。
第二，要让海外客户购买公司的高科技产品，不能仅仅宣传公司的形象，还必须宣传国家的形象。海外客户只有对中国认可了，才能对企业的认可。如果公司只想树立企业形象而抛开了国家的形象，那么企业的形象也很难树立起来。
第三，要有产权保护意识。既要保护他人的知识产权，也要保护自己的知识产权。面对知识产权的官司，要积极应对，用实力证明自己，而不是采取“时间可以证明一切”的策略。中国的高科技企业，必须强化产权意识，并建立起完善的知识产权保护体系。
第四，要建立一个全球化的研发、营销和服务体系。
一个团打山头，你打不下来，当场就把你的团长撤了，让连长当团长，最后山头真的打下来了，这个团长就给连长当了……小公司必须靠高层行政管理的决心来推进公司前进。
——任正非