李鸿章一直对铁路事业的落后耿耿于怀，但受朝廷内部的守旧派掣肘，他举步维艰，难以打开局面。
甲午战败后，李鸿章失去了昔日的辉煌。朝野上下在一致声讨李鸿章的同时，变法自强的激情也空前高涨，建造铁路这时被提到时务要端，谋划全国主要铁路干线的计划也被提上议事日程。这时候，在全国范围内大规模地规划和营造铁路的重任，就历史性地落在了盛宣怀的肩上。当时他在天津任津海关道。
盛宣怀的命运总体还算不错，在失去了李鸿章这个后台之后，又有了张之洞和王文韶两员大将来为他撑腰，他俩联合向朝廷推荐，要盛宣怀来督办全国铁路。张之洞在给朝廷的奏折中讲得很明确：“中国向来风气，官不习商业，商不晓官法，即或勤于官，通于商者，又多不谙洋务。惟该员（指盛宣怀）能兼三长，且招商、电报各局著有成效。今欲招商承办铁路，似惟有该员堪以胜任。”换句话说，他们认为要主办全国铁路，非盛某人不可了。
此时的清廷为图振兴正思贤若渴，见重臣张之洞、王文韶联名具保，两个月后就有了下文。1896年9月，盛宣怀奉命入京，至总理衙门面呈《拟办铁路说贴》，在这个《说贴》里，他把自己关于举办全国铁路的初步设想全部托出，如特设铁路总公司，先造芦汉铁路，然后建苏沪、粤汉等路，不再另设公司；由总公司招集商股四十万股，每股银百两，拟先收七百万两作为根基，并暂入官股三百万两，以为天下倡率；由总公司先借官款一千万两，续借洋款两千万两，五年之后，分作二十五年归还；铁路总公司悉照公司章程办理，遴选各省公正殷实，声望素著之体面绅商十二人为总董……具按西方国家模式，消除官场习气，等等。总理衙门认为他的说法确有见地，即奏请准设铁路总公司，并由盛宣怀担任督办。
10月19日，光绪皇帝召见了盛宣怀，向其咨询南北铁路事宜，盛宣怀趁机敷陈大旨，侃侃而谈，深得光绪的赞许。第二天，他的任命下来了：“直隶津海关道盛宣怀着开缺，以四品京堂候补督办铁路总公司事务”，并授予专折奏事特权，从此，他有权直接向皇帝打报告了。不久，又被授予太常寺少卿的头衔。
1897年1月6日，根据盛宣怀的要求，中国铁路总公司在“天下华商以为会归”的上海挂牌开张，开始了他的十年筑路生涯。
要建铁路，而且要建从北京至汉口的长达一千多千米的“中权干路”，即芦汉铁路，工程浩大、艰苦卓绝且不说，首先资金就是个大问题。
当时清廷正背负着甲午战败的巨大战争赔款，自然无力再出巨资。这时有人主张集“洋股”较为容易做到，连李鸿章也认为，借洋债不容易借到，而“洋股”则容易募集，虽损失部分股权，但路能造得快些。但是盛宣怀反对，他认为股权不能放给洋人，此口一开，将来终必“因路割地，后患无穷”。他给王文韶写信，详述己见：“借洋债与招洋股，大不相同……若借款自造，债是洋债，路是华路，不要海关抵押，并不必作为国债，只需奏明芦汉铁路招商局准其借用洋款，以路作保，袭由商局承办。分年招股还本，路利还息，便安。”“若芦汉招洋股，鄂、豫、东、直腹地，原不至遽为所割，但此端一开，俄请筑路东三省，英请筑路滇、川、西藏，法请筑路两粤，毗连疆域，初则借路攘利，终必因路割地，后患无穷！”
由此可知，若把盛宣怀看成是一个商人或是一般官僚，实在是小看他了。若说他只知“一只手拿十六只夜明珠”则更是有眼无珠。他做事走一步而看三步，从筑路看到路权的得失，进而看到沿路地区的主权得失，这正是他“承上注下，可联南北，可联中外，可联官商”，知彼知己的精明过人之处。他宁肯走举借洋债的艰难之路，为此事，多少也得罪了老上级李鸿章。在这个问题上，仍是张之洞和王文韶支持了他。
可是到了招股的时候，突然传来消息，说是广东有几个人，均称可以认股资5000万，他们愿意出资兴办芦汉铁路，请朝廷派员管理。信已经到了张之洞和王文韶手里。两帅听说中国人自己有钱来造铁路，自是兴奋无比，那不是天大的好事吗？那不就不用借洋债了吗？
可是盛宣怀听了就不相信，他打听了这几个人的名字后尖锐地指出：“岂有一个无名望之人能招千万巨股？”他怀疑这些人的背后是洋人在操纵，如果表面上是华商集资，而背后实为洋人握有路股的话，那路权岂不是仍落入洋人之手？于是派人明察暗访，果不出他所料，所谓的华商民间集资，不过是一场骗局而已。
盛宣怀毫不客气地断了这些人的财路，这大概就是说他“挟官以凌商”的出处吧。
说是借洋债，具体操作起来也断非易事，虽说西方各国资本巨头竞相前来表示愿意借钱给中国筑路，其实也都各怀鬼胎，前后说法不一，总想赚取更多的利益。盛宣怀等人比较下来，觉得比利时国的条件较为宽松，不像其他一些国家狮子大开口，又“不干预他事，较诸大国为胜”，因此决定向比利时借款修筑芦汉铁路。
盛宣怀于1897年5月27日，在武昌与之签订了草约，即《芦汉铁路借款草约》。按照这个草约规定，中国铁路总公司向比利时某公司借款450万英镑，九扣实付，年息四厘，期限30年，以铁路为抵押；办理铁路之权归中国铁路总公司，比国公司派一人为监察并遴选外国工匠；筑路的材料须购自国外者，由比国公司承包一半。可是这个较为宽松的草约只是个以退为攻的策略，到了第二年要签正式合约的时候，他们又提出许多额外的条件。原先讲好的年息四厘已经变成五厘了，而且规定存付事宜由俄国和法国合资的华俄道胜银行办理，经手佣金二毫半；行车事宜由比国公司派人经理，每年提取20%余利作为报酬；比国公司运进的铁路材料，免纳关税厘金。对于后加的这些条件，盛宣怀虽然非常不满，但是终因筑路时间已经迫在眉睫，款项不能再拖了，如果罢议另外再谋他国，又恐要挟更甚，于是只得迁就了。
结果，清政府先拨了一千万两官款交盛宣怀筑芦汉铁路，于1897年动工，建好一段就以之作抵押，再借洋款继续建造；造好一段后再抵押，借款之后再续造。就这样一段一段地建造，终于在1905年9月南北两段建成，11月，黄河大桥（3011.2米）也建造完成。整条铁路，全线1300多千米（包括六条支线），于1906年4月1日全线贯通通车，改称京汉铁路，平均造价为每千米52400百银元。这在内外交困的晚清时代，不能不视为一桩惊天动地的壮举，直至今天，这条铁路仍是我国南北交通的大动脉。
其他铁路线如粤汉铁路、关东铁路、沪宁铁路、津浦铁路的借款和建造过程，也都充满了艰难和屈辱。外国人条件越开越高，胃口越来越大，有的甚至违背合约的条款，如对美国借款修筑粤汉铁路，美方一变再变，中国方面最后只好废除旧约，将筑路权收回自办。但从筹议向美国借款到收回自办，中间历经了8年之久，早已超过了原定竣工的日期，而到收回自办时，这条铁路才建了几十千米。
中国铁路总公司从成立到1906年裁撤，共经营了10年，这10年是近代中国铁路建设的高潮时期，在盛宣怀的主持下，除了成功兴建了芦汉铁路，还修筑了淞沪铁路（吴淞到上海）、正太铁路（正定到太原）、广三铁路（广州到三水）、株萍铁路（株洲到萍乡）、道清铁路（道口到清化）、沪宁铁路（上海到南京）、汴洛铁路（开封到洛阳）。这些铁路后来对国计民生的深远影响，在100多年以后的今天，应当看得很清楚了。
1903年，清廷改变了过去奉行的铁路政策，允许各省自办铁路了。盛宣怀很知趣，在芦汉铁路全线贯通通车之后，就自请将这个铁路总公司给裁撤了，此后铁路事务就由商部统领了。
1901年以来的十年，对于盛宣怀来说却并不算顺利。首先是他的老上司李鸿章在1901年辞世。第二年，他的父亲盛康过世。以为父守丧的名义，他在之后的几年相继失去了对轮船招商局、电报局以及铁路公司的控制。直到1907年保守派大臣打压袁世凯，他才逐渐收回了这些控制。1896年，盛宣怀就执掌铁路总公司，1906年邮传部成立，他却直到1908年才做了个邮传部副部长（侍郎）。
1911年1月，盛宣怀终于坐上了邮传部部长（尚书）这个早就该属于他的位子，接着在5月份，又成为内阁阁员，一切看上去都重新走上了正轨。按照李鸿章的说法，他盛宣怀一生所求，无非“欲办大事”而“兼作高官”。5月8日新成立的内阁，13名阁员之中，满人占了9席，其中又有6人为皇族，舆论汹汹，讥为“皇族内阁”，他盛宣怀身为汉人，年轻时科场不售，连举人都没有考上，现在却跻身内阁大臣，达到人生的顶峰。在这个新的大舞台上，盛宣怀正准备再一次一展身手。
内阁成立的第二天，“铁路国有”的政策出台，这是盛宣怀力主的结果。盛宣怀把铁路国有看得如此之重，自有他的考量。光绪年间，清政府同意由各省地方筹资建造铁路干线，但造路进展不顺，四川铁路更是亏损达到300万两之多。他有感于各省自行造路既缺乏全盘规划，甚至连铁轨宽度都不相同，而且为了造路纷纷额外征税，导致民众不堪其负，因此力主将铁路干线收归国有，以加紧建设进度。而在此之外，他还另有一笔盘算：筑路要用大量的铁轨，这些铁轨的一半要由他主掌的汉冶萍公司生产——于公于私，铁路国有如果进展顺利，将是盛宣怀的另一个顶峰。
官办当然有官办的道理。比如，国家财力雄厚，可以由政府出面向外国银行团融资，并统一协调铁路建设。但由于盛宣怀亦官亦商，地方股民们认定他接手铁路国有化，等于变相将铁路利权收归自己囊中，因此抵触情绪十分激烈。
这时候，盛宣怀一方面看到地方商办铁路的财政压力，另一方面也出于进一步打击政敌、借机谋取买办私利的考虑，向摄政王载沣提出，铁路商办是清谈误国，当务之急是将铁路收归国有，再由政府出面与列强协商，争取好的借款、管理条件，避免主权过分流失，争取铁路早日投入使用。
这个说辞非常合乎载沣的脾胃：贬斥汉族督抚，利权收归满人和皇族为主的中枢，又可“多快好省”地建设铁路，他即刻批示“不为无见”。1911年5月9日，清廷发布《铁路干路国有定策》，宣布“干路商办”“支路仍许商民量力酌行”，并规定责成邮传部和度支部制订国有化细则。11天后，盛宣怀与四国银行团签订条约，规定清廷借款1000万英镑，年息五厘，以四省厘金520万两为抵押，修建粤汉铁路，规定“铁路3年完成，贷款40年还清”。
表面上看，这个协议条款较为优厚：建成铁路后的管理权仍归中方，人事权由中方牵头，施工、还款等方面的条款也似合理。但该协议有许多致命的、原则性的错误。首先，当时几条铁路的路权尚在商股手中，国有化并未启动，清廷实际上是把不属于自己的东西拿出去出售；其次，《铁路干路国有定策》只谈原则，却把国有化细则交给盛宣怀操纵，后者出于政治倾轧和买办私欲，对两湖、广东和四川提出了不同的国有化方案。湖北、湖南由于张之洞管理得宜，资金损失不大，盛宣怀提出用“国家保利股票”1：1按原股面值置换；而四川因资金亏损中有300万系“橡胶股灾”亏空，盛宣怀认为不应“慷国家之慨”，决定不予承担。
看起来盛宣怀义正词严，但实际上却大有文章：施典章是官方“空降”的朝廷命官，川汉铁路的股权一直把持在官方手中，却让民间全部承担亏损；盛宣怀就任半年工夫便强推国有化，且以近乎“强买强卖”的手段逼迫绅民无利、亏损让股，给人以国家与民争利、经办人假公济私的强烈印象（尤其盛宣怀本人还是个买办）；此时清廷正是皇族、满族少壮派得势，向汉族督抚发动清算的时期，盛宣怀依附载沣，露骨地对张之洞、袁世凯等汉族官僚的成算开刀，在铁路发展战略上处处反其道而行之，更给人以政治投机的感觉；具体操办中，盛宣怀徇私舞弊，将襄阳几百里铁路列入“支路”允许商办，却把邻近的夔府铁路列为“干路”收归国有，难以服众。不仅如此，只谈“国有化”，却不谈是否继续“田亩加赋”，以及已经收取的“田亩加赋”是否偿还，这等于是赤裸裸地侵夺最基层农民的利益。
随后保路运动爆发，辛亥革命的钟声即将敲响。
至于始作俑者盛宣怀，在用两条铁路激变四川、湖北，拉开清朝葬礼的序幕之后，又捧出袁世凯，为清廷的棺材钉上最后一根钉子。由于千夫所指，他被清廷革职、“永不叙用”。当年的12月31日，67岁的盛宣怀从大连乘坐轮船前往日本，踏上了流亡之路。一年后他返回上海，重新回归买办商人的本色，于1916年病逝。
他本来是大清的忠实臣子，没想到自己却成了大清的催命郎中。