公元1866年农历四月初，清朝皇帝亲自前往祖庙上香。倭仁以大学士的身分，照例要去站班。他是同治皇帝的老师，被恩准可在“紫禁城骑马”的。名为骑马，实际上可以坐轿子。不过这天，倭仁还真的骑了一匹马去。这匹马倒是稳稳当当的，规行矩步，从来不出乱子。等皇帝上好香打道回府，倭仁也让人扶上马，没走两步，却故意摇摇晃晃地从马上跌了下来。众人连忙将他扶送回家。
那么，好端端的倭仁为什么要故意从马上跌下来呢？说来好笑，倭仁这可是耍苦肉计呢！
原来，第二次鸦片战争后，洋务派为了适应当时变化了的形势，由恭亲王奕诉出面，奏请设立同文馆，学习外国文字，又奏请在同文馆内增开天文算学馆，聘请外国人做教师。而倭仁等顽固派却竭力反对，认为“一个国家要强大，主要靠人心，而不是靠技术；就算要学技术，以中国之大，难道没有自己的人才，何必要请外国人做教师呢？”这样，由于倭仁的反对和在京师的各省士大夫的应和，使得同文馆招生没人敢来应考。奕等人无奈，只好提出，既然倭仁认为中国自有精通天文、算术的人，那就请他聘请教师也来办一个天文算学馆。然而，倭仁哪里找得到这样的人才？再说他也不愿去提倡天文、算术，因此，他不得不承认没有合适的人选。
为了防止倭仁再提出什么反对意见，恭亲王奕沂等干脆想出一个办法，奏请皇帝下旨，要倭仁到总理衙门任职。而总理衙门当时是主持洋务、与外国人打交道的主要机构。倭仁认为与外国人打交道无异是对他的一种人身侮辱，因此呈上的奏折推辞。但恭亲王仍然不放过他，非要他为国家“竭尽心力”、“尽忠效劳”。到这地步，推辞是不行了，身为清廷重臣，抗旨当然也是不敢的，倭仁只好行苦肉之计了。于是，他便找了这么个机会，从马上跌下来，然后请了病假，可以不到总理衙门“行走”去了。这次争论，也就以顽固派的狼狈失败而告终。