晏婴学富五车，才思敏捷，如果放在电视剧里，不是帅哥就是伟人，到哪儿都很醒目。但是，如果你真回到了那个时候的齐国，或许在一群齐国大臣中还真找不出他来。
晏婴个子矮小（不满六尺，大约不到一米四），其貌不扬，穿着朴素。连他的车夫都比他显眼，如果他从你身边走过，或许你都会不小心没看见他。
也正因为晏婴身材矮小，外表普通，所以晏婴出使楚国和吴国受到了两国国君的嘲笑。外国人嘲笑他也就罢了，齐国国内也有人藐视他。晏婴最初在齐国朝廷当官时，没有几个大夫看得起他，而当时的国君齐庄公吕光更是很鄙夷他。
吕光是一个昏庸无能的国君。他迷信武力，曾闹出过“螳臂当车”这个笑话。
说是有一天他乘车出行，看见地上有一支螳螂高举着双臂，似乎要跟马车的车轮搏斗。吕光就问车夫：
“这是什么虫啊？”
车夫答：
“这是螳螂。这种虫子很傻，只知道进不知道退，他不看一下实力的差别就轻率要和马车决斗。”
吕光一听，居然对这支螳螂表示起了尊敬，说：
“如果这支螳螂是人，那他一定是一位勇士，我们绕开它走吧。”（此为人而，必为天下勇武矣。）
这个故事后来便引申出了“螳臂当车”这个成语。
吕光在位期间，干了一件重要的事情，就是帮助晋国的栾盈回国叛乱。齐军虽然一度攻下了朝歌，但很快就被晋军击退，吕光没有捞到什么便宜。
这样一位喜欢武力的鲁莽昏君自然是不会喜欢文弱又矮小的晏婴的。在吕光的眼中，晏弱不过是个手无缚鸡之力，平日里只会掉书袋的书呆子，而且个子那么矮小，简直是三级残废，对于齐国的朝堂毫无用处。
于是，吕光开始把晏婴的官职一点一点地降级，从原来的上大夫贬到了普通的文员。到了晏婴差不多无官可降的时候，吕光还不忘戏弄一番晏婴，他宴请晏婴来喝酒。等晏婴进门的时候，他让歌者唱了一首事先编好的歪歌。歌词唱道：
“已哉！已哉！寡人不能说也，尔何来为？”（歌词大意：算了吧，算了吧，寡人不喜欢你，你来干什么呢？）
如此唱了有三四回，晏婴终于是忍无可忍，他对吕光说道：
“一个国君有众多的子民却没有道义；势力强大却有没有礼义；爱好勇力却厌恶贤人，那他一定是会有灾祸的。既然晏婴不能为君上所用，那么就请准许我辞官回家吧。”
晏婴话说得委婉，但总结起来就一句话：
昏君！我辞职不干了！
吕光很得意，晏婴你要走，太好了，省得我发解雇令了。他当即批准了晏婴的辞职请求。而晏婴头则也不回地回家去了。（遂趋而归）
出了宫门，晏婴坐上了自己马车，想想要离开自己工作几年的地方，心中不免有些感叹。他叹了几口气，忽然又呵呵地笑了起来。
他的车夫便问道：
“大人您刚才还在叹气，怎么又接着发笑了呢？”
晏婴回答说：
“我叹气，是惋惜自己的君主不能避免灾祸；我发笑，是高兴我离开了这个是非之地，保全了自身，不用和国君一起去死了。”
到了家中，晏婴让家里的人把公家的东西全部归还公家，带不走的财物全部送给附近的百姓。家里人不理解了，觉得辞官就安心在家享受就是了，何必把钱财送人呢。晏婴便解释说：
“君子能够为百姓出力，就应该当官拿俸禄，不拒绝富贵；如果没有本事服务百姓，就应该辞官做普通人，不能厌恶贫贱。”
晏婴散掉大部分的家财，带着家人迁居到了海边，过起了耕种的生活。后来的事实证明，晏婴所做的这一切都是明智的。而自以为有能耐的齐庄公吕光，实在是愚蠢到家，连自己要被人害死的结局都被晏婴精确预料到了。