陈兰彬是翰林出身，性情刚直，处事也严谨老成。当年上海广方言馆刚建起来时，李鸿章就让他负责，办得很好，这才把留美幼童的事交给他办。
想不到陈兰彬的思想远远不够开明，是那种“中学为体，西学为用”的脑筋。看着中国孩子在上海学堂里学说洋话他很高兴，可眼看在美国的留学生们思想上越来越西化，他却感到极度不安，因此和首倡幼童出洋的驻美副公使容闳发生了摩擦。而且随着孩子们渐渐长大，行为和思想上的变化越来越明显，陈兰彬和容闳之间的争吵也越来越激烈。
终于，陈兰彬运用自己手中的权力，任命吴嘉善来担任留美学生监督一职。
和陈兰彬一样，这个吴嘉善也是翰林出身，同样倾慕西学，还是晚清的一位数学家。可他却是个比陈兰彬更加保守的人，而且脾气暴烈古怪。到美国后，对留美学生的一切作为都看不惯，整天训斥学生们，甚至发生了动手打人的事。这些学生在美国待了九年，习惯了自由宽松的思想环境，用简单粗暴的方法已经不好管了。于是吴嘉善一边用暴力威吓留学生，一边不断往国内上奏折，告这些留学生在容闳的纵容之下变得越来越“放荡淫逸”，读书时少而游戏时多，不少人加入秘密会社，入耶稣教，认为如果让这样的学生久居国外，他们必会失去爱国之心，以后就算学成归国也对国家无益，甚至对社会造成危害。
这些咬人的奏折送回国内后，朝廷里的保守派立刻群起鼓噪，大造声势，逼着朝廷把留美学生全部招回国内。在强大的压力面前，曾经开明地支持建立同文馆、向国外派送留学生的奕?e844也犹豫起来：“听说这些学生在美国只学西洋之术，完全不习中文，说话行事越来越像洋人，据吴嘉善说，有些学生因为天天说洋文弄得连中国话也不会说了，这样下去，这些孩子还能跟咱们一条心吗？”
李鸿章赶紧解释，说这些孩子大多是从广东沿海一带选送的，广东那边的人说话口音与北方大不相同，吴嘉善大概是听不懂广东方言，就以为这些孩子连中国话也不会说了。
“听说那些学生进教堂，加入洋教，还听说有些人连辫子都剪了，是真事吗？”
对这个事李鸿章也早想好了说辞。告诉恭亲王，洋人的教堂里有大量藏书，天文、历法、算术、机器，无所不包，学生们只是去找书看，并没有人入洋教。至于剪辫子的事更是绝不可能，如此大逆不道之事他们断不敢为。
其实剪辫子的事是有的。
把前面的一半头发剃光，在脑袋后面拖着一条辫子，这可能是全世界最丑怪、最不可思议的发型了。所以当时的中国人到了国外，这条难看的辫子总是成为外国人的笑柄。同时，在当时每个汉人心里都没有忘记，这条辫子其实是加在整个民族身上的耻辱烙印。所以有些留学生就悄悄剪掉了辫子，拜见从国内来的监督时才把假辫子塞进帽子里充数。反正他们远在美国，没了辫子也不会有人找他们的麻烦。
可剪掉辫子在大清统治者眼里是大逆不道的杀头重罪。知道此事后奕?e844也非常气恼，现在见李鸿章否认得这么干脆又有点吃不准了，回头一想也觉得这些学生应该不会如此大胆，这件事大概是吴嘉善夸大其词了。
见最厉害的一条搪塞过去了，李鸿章暗暗松了口气，赶紧顺杆儿爬，跟恭亲王说当年提出此议时朝廷上多少人反对，是王爷一个人力排众议，最终让这些孩子留洋，实在不易。现在洋务搞了多年，可是制造局仿造出来的东西却总是过时，大船造不了，机器也搞不出来，日后修铁路、造机车处处需要人才，全指望这批孩子，他们中哪怕只有半数成材，对朝廷也将大有益处。况且这些学生在美国九年间朝廷花费了几十万两银子，眼看孩子们就要进入大学堂深造，此时把他们接回来，以前的银子就全打了水漂了。再说，如今在列强之中只有美国人和清廷的关系最好，现在无端撤回学生，美国政府一定会惊疑多心，弄不好还会责怪朝廷，这样岂不是要影响到两国关系？
一堆大道理把恭亲王说含糊了。李鸿章赶紧给他出主意：干脆让那些已经考进大书院的孩子留下完成学业，再挑选聪明颖悟能够成材的留下一些，其他的分批撤回国来。
这时候只要恭亲王点一下头，留美学生至少能留下一大半。
虽然李鸿章说得句句在理，可奕?e844一句也没听进去。
其实奕?e844早就拿定主意要把留美幼童撤回来了。并不是他头脑糊涂保守，看不出留洋学生的重要，而是因为位高权重，渐渐遭到了慈禧太后的猜忌，他自己也有所觉察，所以处处谨慎，不求有功只求无过。近几年来奕?e844变得暮气沉沉，僵化怯懦，已经不是当年那个意气风发的“鬼子六”了。
要换别人，到这时候不是瞪着眼跟恭亲王吵闹，就是闷头回家捶胸顿足发一回牢骚。可李鸿章却很清楚，在这个封建专制的朝廷里，瞪眼吵架于事无补；可要是就此把事儿扔下，回家闷头发牢骚，李中堂一辈子没这么干过。
眼看此事已难挽回，李鸿章拿出了最后的法宝，对恭亲王打起了“痞子腔”，说现在从上海到天津的电报刚刚开通，专业人才实在不够，能不能叫留学生监督吴嘉善先把一些品行不好的学生送回来，其他的留在美国专门学习电报业务，等学成之后再回来，这样也能有些用处。
这个提议奕?e844勉强答应了。
这一次李鸿章的花招又奏效了。
按照他的设想，等朝廷下旨后，吴嘉善先从美国带回一批学生，其他的暂时留下。之后李鸿章就可以借着以前的话头顺杆儿往上爬，说吴嘉善已经把“品行不良”的学生都带回国了，留在美国的自然都是品行良好的学生，接着再找些借口把“人才重要”、“过去九年已经花掉了大把银子，如果把学生撤回银子就白花了”、“无故撤回留学生会影响中美关系”这类的话多说几遍，估计就能把大部分留学生留在美国。
于是李鸿章给陈兰彬发去一封电报，要他立刻挑选二十名留美学生到各处电报馆学习，以备将来回国后在刚开通的上海电报局工作。
可惜，这一次李鸿章的计划却是百密一疏，他漏掉了至关重要的一点。
这个漏洞就是容闳。
官场上的人多是些点头知尾的机灵家伙，对于各种潜规则也极为熟悉，如果是由这些人办理眼下这件事，见了李鸿章给陈兰彬的电报，他们马上就会明白李鸿章的意图。
一边要把孩子们撤回来，一边却又派他们去学电报技术，这种自相矛盾的命令其实就是“拖”字的代名词。那些官油子们自然心中有数，就会尽力把学生们留住，等等看看。至少他们要再接到李鸿章的信，吃准了他的意思，才会真正撤销肄业局把学生们带回国来。
可容闳却偏偏与众不同。
容闳年轻时赴美国留学，虽然在中国各地活动多年，却一直在广州美国公使馆、香港高等审判厅、上海海关、宝顺洋行之类的地方任职，对于中国官场上的一套把戏完全不懂。接到朝廷旨意后，看到陈兰彬和吴嘉善都同意把留学生撤回国内，而李鸿章又没有给他任何指示，就作出了一个错误的决定，撤销肄业局，带着留美学生回国来了。
如此一来，李鸿章、曾国藩和容闳等人苦心经营了九年的留美学童计划弄了个半途而废。
回国之后，容闳专程到天津来拜见李鸿章。听说容闳来了，李鸿章大吃一惊：“你怎么回来了？美国那边的事交给谁了？”
“美国那边没什么事了，我已经奉旨把留美的孩子们都带回来了。”
“谁让你这么办的？！”
这下把容闳吓了一跳，忙说：“陈兰彬接到朝廷的圣旨，下令撤销肄业局，既然圣旨来了，陈兰彬和吴嘉善也都赞成，我一个人抗命，岂不成了叛逆，脑袋难保了？”
李鸿章气得半天说不出话来，终于重重一拍大腿“咳”了一声。
“不是！我不愿意让学生们回来，为此一直在想办法，本以为你在那边可以阻止他们回国，容我想出办法来，可你怎么这么糊涂？！”
容闳被李鸿章骂得十分委屈，他是一副外国人的直率脾气，想起什么就说什么：“中堂大人，我远在四万五千里之外，怎么可能知道你心里在想什么？如果你不想让学生们回国，至少也要写封信告诉我，见了信我当然就知道怎么办了，可你却什么也没告诉我，那我当然只好执行朝廷的命令了……”
事已至此说什么都没用了。李鸿章摆摆手：“不说这事了，我也知道幕后的罪魁祸首是谁。这事不怪你，去休息吧，以后还有很多事等着你办呢。”
这时一个亲随走了进来：“中堂，翰林学士吴嘉善求见。”
“谁？”
“吴嘉善。”亲随看了容闳一眼，压低声音说，“就是那个……”
就是那个在美国动不动就打骂留学生，还屡次三番给国内打小报告的督学吴嘉善……
“说我身子不舒服，不见。”
亲随答应一声转身要走。李鸿章又叫住他：“等等，你出去告诉吴嘉善，叫他走人！以后不准再登我的门。”
虽然留美学童计划半途而废了，可这件事的积极意义却是不容置疑的。
这些孩子成了所有留学生的先行者，在他们身后开始有成百、成千、成万、成百万的年轻学子走出国门，把西方的先进科技带回中国。从此，沉闷迂腐的学术空间被一层层打破，中国人的眼睛开始透过这些打开的空间看清了整个世界，并最终融入新时代的大潮之中。
在这些留美幼童中，有三十人后来从事工矿、铁路、电报业，五人从事教育业，二十四人从事外交行政工作，二十人进入福建船政学堂和北洋海军。在这些人中出了六个工程师，三个铁路局长，两个大学校长，十二个领事，一个外交总长，一个内阁总理和十四个海军将领，发现湘潭煤矿的邝荣光、修筑京张铁路的詹天佑、担任清华校长的唐国安、当了内阁总理的唐绍仪、当了舰队司令的吴应科、当了海军次长的徐振鹏，以及在战争中捐躯的杨兆楠、黄季良、薛有福、邝咏钟、陈金揆、沈寿昌、黄祖莲……都是当年留美幼童中的一员。