1895年，中国甲午战败，全国上下对李鸿章一片声讨。看到自己的顶头上司一生忠心耿耿，权倾朝野，一旦失算，就落得个如此下场，盛宣怀心底不免阵阵凄凉，加上自己长年因劳累过度而体虚内亏，常常夜间咳喘不止，于是一纸奏折上去，申请退休回家。
然而朝廷此时正需要干才。在甲午战败的刺激下，朝廷必须设法挽回一些面子，何况上下内外正一片变法呼声，要自强，要改革，要励精图治，因此朝廷需要盛宣怀出来做事，不仅不同意他退休回家，而且派他于大用场，要他出来办银行！
盛宣怀毕竟是朝廷的忠臣，惯于识大体，况且办银行也是他多年前就向朝廷建议过的事情，如今朝廷真的要你去办了，你却要打道回家，是何居心，能说得清吗？没奈何，只有拼着命上。
此时清廷面对着两亿白银的战争赔款，一筹莫展。光绪皇帝问计于他，如何才能摆脱困境，他直言不讳地和盘托出：仿照泰西各国的样子，办商业银行，“铸银币、开银行两端，实为商务之权舆，亟宜首先创办。不必畏难避嫌，一年即可建成，一年即可收效……如任用得人，一呼可集”。又具体设计了公私两方如何集资的总体方案。针对当时时髦的话题，关于变法问题，他劝说皇上头脑要冷静，现在空谈变法的人太多了，然而说起来容易做起来难，立个新法容易，而要收到实效并非那么容易。提醒光绪帝不要轻言变法，只管真抓实干好了。
然而中国的事情历来就是复杂的。不久，京城传出消息，说是海关总税务司、英国人赫德准备组办中英合资银行，要抓中国银行的开办权。盛宣怀此时已失去了李鸿章这个最有力的支持者，有话他也不能天天对着朝廷叨叨，只好去盯张之洞。他给张之洞写信：“闻赫德觊觎银行，此事稍纵即逝。应否预电总署颇有关系。”他唯恐张之洞认识不清此事的极端重要性，过了几天又写信去：“华商无银行，商民之财无所依附，散而难聚……若是银行权属洋人，则铁路欲招华股更无办法……铁路既以集华股归商办为主，银行似亦应一气呵成，交相附丽。”
光绪皇帝看到了他的忠诚，接连召其进京问策，他及时地呈进《请设银行片》和《条陈自强大计折》，重申了在中国开办商务银行的极端重要性和紧迫性，折子里尤其强调说：“西人聚举国之财为通商惠国之本，综其枢纽，皆在银行。中国亟宜仿办，毋任洋人银行专我大利。”
那天他进宫向光绪皇帝辞行，皇帝对他说：“你的奏折已交总署讨论，但是事情总是人做的，今天这班督抚大员都在推诿延宕之中，你看怎么办呢？”光绪这是有意启发他勇挑重任，因为皇帝也知道，这些年办洋务，成果最显著的就数盛宣怀。果然，圣旨下达仅仅十几天时间，盛宣怀就把最关键的人物搞定了。他选定的八个董事会成员为：张振勋、叶澄衷、严信厚、施则敬、朱葆三、杨廷杲、严潆、陈猷。
这八个人，都是近代上海滩上的实力派人物。张振勋是南洋华侨巨擘；叶澄衷是五金行业的巨头，号称五金大王，在上海及各商埠均有支店，又是纶华缲丝厂、燮昌火柴厂的老板，海上巨富；严信厚原是李鸿章的旧属，以盐务起家，积资巨万，是宁波通久源轧花厂、通久源纱厂、通久源面粉厂、上海中英药房等著名企业的老板，华商巨擘；朱葆三原是日商平和洋行的买办，后来自己开设商行，从事进出口贸易，大发其财，在华商中极富号召力；施则敬也是海上华商中举足轻重的大资本家。另外，严潆和陈猷是轮船招商局的会办，能带船局的资本进来；杨廷杲是电报局总办，亦能带大量资本入股。此时的盛宣怀，已经把这些大腕人物掌握在手里，说派用场就能派上用场的。
300万商股看来不是很费劲儿就集起来了。其中仅轮船招商局就有80万两。他又替王文韶留了500股的份额，用朝廷里大官投资于此，来进一步安定民心，致使商股招集“甚踊跃”。
然而朝廷则常常是三分钟热度，忽冷忽热的。商股落实了而官款迟迟没有落实。盛宣怀一再催促，不仅迟迟没有下文，反而传出朝廷已批准中俄两国合办华俄道胜银行的消息，而且据说朝廷已拨款500万两入了股。这么一来，已经入股中国通商银行的商人们议论纷纷，怕朝廷变卦，盛宣怀自然处于非常被动的地位。他一方面加紧向朝廷催促原定200万两官款的落实，另一方面给户部左侍郎张荫桓写信，因他明白，节外生出华俄道胜这一枝，完全是翁同龢的主意。对于盛宣怀牵头办银行，翁氏嘴上不说不支持，却背地里把资金分流掉，叫他难办。
盛宣怀在信中对张荫桓说：“俄行已入官股五百万，而中国银行转无官款，不足取信，为外人笑，一经洋商之谣言倾轧，必致众商裹足。”他又强调，向政府借这200万不是作为股份投入银行，而是按照过去办轮船招商局的办法，将此款“存放该银行，按年认缴息银五厘，不计盈亏，六年为限，限满或分年提还，或仍接存”。这种办法“有利无害，而外人知有官款在内，足以取信，可与中俄（道胜银行）争衡”，而且，如无官股，不足以号召各省汇票。张荫桓将盛氏的意见转达户部及朝廷，这帮昏人无以对答。
就在这关键时刻，官场上又有人提出对他的弹劾，说他揽银行、轮船、电报等大权于一身，全为图谋私利，等等。这下可把盛宣怀给气火了，心想这些人不干正事罢了，还专门干给人泼脏水的营生。他接连两次向北洋大臣王文韶（甲午战败以后李鸿章的接班人，时任直隶总督、北洋大臣）提出辞职：“似此糊涂世界，何以尚想做事！”准备“挈全眷而返”，“举亲耕读，从此再不与人言家国事！”王文韶为官，以圆滑著称。他当然不能允许盛宣怀就此撒手不管。他一方面尽力为盛氏开脱，在朝廷面前说他的好话；另一方面积极为之催官款。最后总算打了一半折扣，原拟的200万两变成了100万两，也算有了表示。
然而天有不测风云，一会儿又传来朝廷对办银行有所动摇的消息。如此朝三暮四，简直如同儿戏，国家大事，已无章法可循。盛宣怀此时强忍愤怒，耐心地向总理衙门解释，指出中国通商银行势在必办，“中外早已传扬，若届期不开，失信莫大于是。商股必致全散，以后诸事万难招股，不仅银、铁两端也！”苦口婆心，艰苦奋斗，这个眼看就要流产的中国的第一个银行总算诞生了，时为1897年5月27日，地点就是现在外滩6号的那栋三层楼房（现已变成购物休闲场所）。
盛宣怀气得没有出席开幕的盛典。接到银行已按期揭幕的电报时，他长长地吁了一口气。
中国通商银行如同一个难产儿，在千呼万唤之后，终于在外国银行林立的上海滩站稳了脚跟。开办不到一年时间，又先后在天津、汉口、广州、汕头、烟台、镇江和北京等城市开办了七个分行。两年之后，已能每六个月结账一次，除开销外，发给股商利银40万两，缴呈户部利银10万两……拿盛宣怀的话说就是：“询诸汇丰开办之初，尚无如此景象。”而汇丰银行，当时已在上海开办了30多年了；英商丽如银行已开办了52年了。