成立仅1年多的微软中国研究院，抓住了这次的机会，将研究院在多媒体方面的研究成果总结出来，参与了这次的汇报。张亚勤率领阵容豪华的多媒体研究队伍抵达微软公司雷特蒙总部。
这是张亚勤和比尔·盖茨第一次近距离的接触。会议是在一个很小的房间举行的，参会者只有十来个人。张亚勤负责作报告，讲述的是小波视频压缩的技术，比较专业。比尔·盖茨不时从座位上走出来，问这个频率点是什么意思，这个不同的层次代表什么，当系统出现噪声的时候，对质量有什么样的影响，问了不少特别专业的问题。阐述原定一个小时，但由于比尔·盖茨的不断提问和反馈，会议超时了半小时。比尔·盖茨的助手一直催他走，他还是不走，继续和张亚勤讨论。
张亚勤之前听说比尔·盖茨很厉害，脾气挺大，对某些方面感到不满意就会严厉地批评甚至骂人。然而，真正接触时，比尔·盖茨说：“你们是科学家，你们是专家，我是来学习的，来听你们讲课。”张亚勤觉得他很和气，很谦虚。
在这次的会议上，张亚勤还让比尔·盖茨了解了，在过去的一年内，微软中国研究院多媒体小组已经在全球最优秀的学术刊物和会议上发表了80多篇论文；在网络协议领域，申请注册了40项美国专利，做出了60项新发明，并已有8项成熟技术转让给Netdoc,DMD和MSTV等相关产品部门。
微软中国研究院的发展势头，让比尔·盖茨大为震惊。他对微软的董事们说了自己的评价：“在中国，有一个世界一流的多媒体团队，他们做的东西远远超过我的想象。”他称赞张亚勤做了一件令人难以置信的工作。
微软中国研究院开始崭露头角。从那次会议之后，张亚勤所领导的团队向比尔·盖茨汇报项目就变成了传统，每年都有三到四次的机会。
接棒领导，将微软中国研究院推向世界最前沿
汇报一个月后的2000年7月，张亚勤在新泽西的家中度假。刚刚休息了两天，李开复打来了电话。他声音显得很沉重，说道：“亚勤，我要离开了，全靠你了。”
张亚勤一时没回过神来，急忙问道：“什么意思？你要去哪儿？”李开复被调回微软总部任全球副总裁，全力投入微软公司最新提出的Microsoft.NET方面的有关工作，他将微软中国研究院的棒子交到了张亚勤的手中。
张亚勤觉得李开复在开玩笑，因为研究院才刚刚起步没多久。三天后，他结束了短暂的度假，回到了北京。
2000年的8月2日，他正式成为微软中国研究院院长兼首席科学家，当时研究院的规模接近50人。
这是新世纪的第一个年头，站在新起点上，整个世界都在注视着东方的中国。亚洲资深的政治家、77岁的李光耀出版了自传《李光耀回忆录》，他预言：“中国有可能实现其到2050年成为现代化经济大国的目标，它将以一个平等和负责任的伙伴姿态参与世界贸易和金融活动，以及成为世界重要成员中的一员。如果它不转移教育和经济两大发展中心，中国很有可能成为世界第二大贸易国。这就是中国50年的一个构想——现代化、自信和负责任的大国。”
在即将加入WTO的利好消息的推动下，中国的宏观经济呈现良好的态势。微软中国研究院在这样的氛围中，在张亚勤的带领下，进入“新世纪”，开始走向另一个辉煌。
这一年，比尔·盖茨来到微软中国研究院，这里的一切让他感到回不过神来。研究院更像是一个游戏软件生产基地，像一个科幻世界！“光子”、“量子”、“基因链”、“DNA”、“火药库”，这些都是会议室的名字。墙上啥都没有，多的是大白板，有些甚至没有墙，只有没完没了的大白板。
这是微软研究院，还是艺术展览馆？
比尔·盖茨和微软的其他高官渐渐看清楚大白板上的字，那是一些莫名其妙的公式和一些奇奇怪怪的字。
原来那些大白板是张亚勤用来记录员工瞬间灵感的。初到研究院时，张亚勤向李开复提的唯一要求，就是要在他的办公室安装一块长四米的白板，便于他记录自己突发的灵感。显然，研究院后来的白板都是这个初始创意的拷贝。
研究院的同事对张亚勤的评价是，他展示给员工的始终是积极的表情，他把所有不确定和所有挑战，都当做生活中的乐趣所在。他以自己轻松淡定的生活方式感染着身边的人，虽然他从来不会说什么激动人心的话。
2001年11月，微软中国研究院发展为微软亚洲研究院（MSRA）。此举显示了微软公司对中国及整个亚太地区经济发展潜力的巨大信心和对本地区信息产业发展的郑重承诺。
第二年的夏天，美国前国务卿基辛格率团访华，纪念30年前尼克松总统的“破冰之旅”。微软全球CTO克瑞格·蒙迪和他同行。克瑞格·蒙迪既是微软的CTO，也是基辛格很好的朋友。张亚勤和公司的三四位同事，陪同基辛格和克瑞格·蒙迪吃饭时，谈了很多事。基辛格当时回忆了他1971、1972年怎么样装病，躲到汽车的后面，飞到中国，和周恩来总理谈判。
张亚勤说：“基辛格是中国打开大门和中美建交历史上一个十分重要的人物。当时他跟我们讲了很多小的有细节的故事，讲完之后，他兴致勃勃地与我们一起去北京饭店吃饭。到了北京饭店的顶层，他回忆说1972年时，周总理在这儿指着北京的烟囱对他说，我们北京多么地发达。”
张亚勤站在基辛格身边，听他说得很有意思。这时基辛格问他：“微软在中国做得怎么样？”张亚勤向他介绍了研究院的基本情况，基辛格十分感兴趣，对一些技术方面的事情提出了不少问题。克瑞格·蒙迪趁机邀请基辛格博士去微软中国研究院参观。
基辛格很有兴趣，决定第二天早上前往。第二天是星期六，本来安排了自由活动，去游长城。他推却了，决定去参观微软研究院。那天，他带了医生和克瑞格·蒙迪，把研究院所有的管理者和经理召集起来。那是在希格玛大厦三楼的会议室。
张亚勤事先做了一些准备，打算先给他介绍现在研究的方向。基辛格则表示，先停一下，在你开始之前，我想问一下，你们是什么样的背景？大致介绍一下。每个人都回答了是在哪里读的书。结果很有意思，“我们一圈十几个人都是同样的背景，全部是在国内出生，在美国读完博士，然后又回来。”
张亚勤说：“基辛格80多岁了，还刚刚做过心脏手术。但听完大家的介绍，我看到他有一种特别自豪的感觉。我们这一群人都是中美建交的受益者，我们都在为中美科技的交流做贡献，我能看到基辛格老人脸上的那份满足感、那份自豪感，他确实为中美大门的开放做了巨大的贡献。”
这一次，微软的CTO克瑞格·蒙迪还肩负了重任，他代表微软与原国家计委（现国家发改委）在北京签署了加强软件产业合作谅解备忘录。根据该备忘录，原国家计委支持微软公司与中国境内企业、科研单位、高等院校、国家软件产业基地等，开展出口投资、人才培养、技术开发等一揽子计划。
在微软的五年，张亚勤实现了比尔·盖茨的理想，把微软中国研究院变成亚洲研究院，并推向了世界最前沿。2004年，微软亚洲研究院被MIT Technology Review评为全球最顶级的计算机科学研究院之一。
转战微软移动业务，难使的“上方宝剑”
2003年11月，微软的CEO史蒂夫·鲍尔默来北京。这一次，他的行程中重要的一项是会见温家宝总理。在张亚勤陪同前往的路上，史蒂夫·鲍尔默表露了一个新的想法——进入移动领域，并表示他和比尔·盖茨都觉得张亚勤是领导这个团队的最佳人选。最后，鲍尔默问他：“你有兴趣吗？”
张亚勤听了鲍尔默一番话，倒是有些矛盾。研究院发展势头正猛，张亚勤的家也刚刚搬回了国内，他倾向于留在国内。但他内心里却还是想尝试一下这个新领域。
张亚勤本身对手机、移动通讯，还有CE平台很感兴趣，这一工作可以称之为做软件、电子器件以及做通讯的融合，这结合了他过去很多年工作的不同方面，也代表了微软未来的一个方向，所以当时觉得挺有意思的。
两个星期后，张亚勤到了总部。圣诞节降至，美国一片节日气氛，他来到华盛顿的雷蒙德微软总部，与比尔·盖茨会面。
在微软的5年，每年张亚勤都会飞到总部向盖茨展示有关移动计算技术的研究成果，而微软Windows CE部门的业务进展实在让盖茨有些失望。张亚勤在数字影像和视频技术、多媒体通讯及互联网方面都是世界级专家，他在通信和多媒体技术方面的研究经验和每年的汇报成绩，都令盖茨叹服。于是，盖茨突然产生了一个念头，为什么不让张亚勤来做这件事情呢？
“张，我告诉你，手机会成为移动技术很重要的平台。”
“这是当然。IT、通信和多媒体一直是人们生活和工作离不开的，而手机，恰恰将这三方面融合在一起。”
“不，还有一点更重要，特别是在发展中国家，很多人第一次接触计算终端，不是个人电脑而是手机，所以，张，我需要你来做这件事情。”
2004年初，时任微软亚洲研究院院长的张亚勤出任微软全球副总裁，征战微软总部雷蒙德，负责微软移动通信及嵌入式系统在全球的开发业务。
张亚勤面对的不单单是一个全新的领域，Windows CE部门在他接手时死气沉沉，毫无起色，看上去像一潭激不起浪花的死水。
他开始思考这个部门死气沉沉的原因。这里长期沿袭了PC操作系统的开发模式，所以产品更新周期缓慢，面对已经开始出现加速迹象的移动计算市场，Windows CE完全处于被动状态。因此这个部门还被称为“粘在骆驼上的一只蜗牛”。
早在三年前，他就在微软中国研究院开辟了一个新的研究小组，研究无线网络，一直在做Windows CE的产品转化工作。这无疑有助于他工作的展开，也坚定了他冒险尝试产品研发的信心。虽然，前方充满了挑战。
对微软来讲，PC一直是强项，但计算已经进入了新的领域，包括手机、电视、汽车等。张亚勤分析，有电的地方都会有计算，有计算的地方都会有智能，有智能的地方都会有互联网，所以未来是一个互联网的世界，一个多平台的世界，所以非PC是微软未来战略的要点。
他说：“移动是非PC业务中最重要的一块核心，这也是我人生中最有挑战的一个任务。”
移动业务部分刚刚启动时，缺人也缺资金，而且由于公司事先在该领域没有建立任何信誉，从头做起的难度超乎想象。张亚勤将其简单归结为三个一，即一个模式，一个人才，一个合作伙伴。
面对一个新的领域，如何去制定战略模式？团队里都是学历高的IT精英，大家各有各的看法，不少人提出学习苹果，做手机。
张亚勤还面临招兵买马的难题，怎么样去找到最优秀的人才。好在比尔·盖茨对他说，你放手去做，想雇多少人就雇多少人，没有约束和限制。但一下子要找那么多精英人士，而且是在这个新领域内，如果想从PC领域找跨领域的具有前瞻性的人才，也很难。
第三个难题就是怎样和运营商、手机制造商合作。他们的观念可能认为，微软是PC领域的霸主，占90%以上的市场，一旦进入这个领域，会不会将他们吞并？因此，微软移动团队的首要任务就是消除他们的疑虑，建立一种信任。
再次回到美国的张亚勤，孤身一人，家还安在国内。他记得，那时自己做了很多决定，每天脑子里都在琢磨这些事，到了深夜还面对着电脑，做技术架构，构思战略版图。有时很晚了，他一个电话或一封Email召集下属开会，一开就是几个小时，一群人集体熬夜，第二天个个都很憔悴。在美国很少晚上开会，张亚勤的做法引起了一些同事的抱怨。
比尔·盖茨对他说：“这是我们公司的未来，我等于把未来交给你了。我给你资源，你可以做任何决定，唯一的要求是你要把这个工作做好。”张亚勤感觉到了自己肩上的压力，公司交给他一个重要的使命，他必须以最快的效率理清发展方向，加强执行力。