尽管郭嵩焘与僧格林沁合不来，一般大臣也不太欢迎他，但这并未减弱咸丰皇帝对郭嵩焘的好感。
1859年10月，由于山东沿海各县贪污严重，咸丰帝命令郭嵩焘前往烟台等出海口，查办官员隐匿、侵吞贸易税收情况，而对他一直不满的僧格林沁，却派心腹李湘棻作为会办随行。虽然郭嵩焘无“钦差”之名，但所到之地，大小官员都知道他是皇上亲自派来检查财务、税收的大员，因此对他的接待格外隆重，并都备有厚礼。没想到郭嵩焘向来清廉方正，严于律己，规定“不住公馆，不受饮食”，更不受礼。他的随行人员因不能发财而大为不满，地方官也因他破坏了官场“游戏规则”而极为不满。
到山东沿海各县后，郭嵩焘认真查账，发现从县官到普通差役几乎人人贪污税款，贿赂公行，而且税外勒索费用惊人，超过正税4倍多。他立即采取措施，整顿税务，堵塞漏洞，并设局抽取厘金。所谓“厘金”，是清政府在财政极端困难时，为镇压太平天国专设的捐税，郭嵩焘想整顿、减少其他易为官员中饱私囊的税、费，故通过新设厘局，使税收真正为政府所得。这些措施严重侵犯了当地大小官吏的利益。加上设局抽厘，又增加了新的税收名目，因为在政治严重腐败的情况下，新任厘局的绅董也一样贪婪。结果厘局刚成立不久，就发生了福山县商民怒捣厘局、打死新任绅董的骚乱。尽管如此，这次税务整顿还是大有成效，查办了一批贪官污吏，增加了政府税收。但郭嵩焘万万没有想到，正当他自以为有功于朝廷的时候，突得朝廷以他在山东查办贸易不妥、交部议处的通知。
原来，书生气十足的郭嵩焘根本没有想到，李湘棻一直在暗中监视他的举动，并随时向僧格林沁汇报。而他对僧格林沁派来的这位“会办”，竟毫无防范。郭嵩焘开设厘局后，李即向僧报告说，如此大事竟未与他这个会办商议，便独自决定。这个报告使原本就认为郭嵩焘目中无人的僧格林沁大为恼火，认为不与自己派去的“会办”商议，实际是未把自己放在眼里，便在1859年12月底以郭未与会办李湘同办，未与山东巡抚文煜面商，便派绅士设局抽厘以致民变为由，上奏弹劾郭嵩焘。以僧格林沁的地位之尊，他的意见当然深为朝廷所重。而且，傲气十足的郭嵩焘在处理山东沿海税务时与山东地方大员、山东巡抚文煜少有沟通协调，也使文煜大为不满，站在僧格林沁一边反对他。1860年元月，郭嵩焘被迫离开山东返京，悲叹“虚费两月搜讨之功”，“忍苦耐劳，尽成一梦”。
在返京途中他备受冷遇，与来时一路的隆重迎送形成鲜明对照，使他饱尝世态炎凉，领略到官场的势利。回京后，他受到“降二级调用”的处分，虽仍回南书房，但实际已是闲人，被冷落一旁。1860年4月，郭嵩焘怀着孤愤郁闷的心情，以回籍就医为由，黯然返回故乡。
尽管郭嵩焘是带着忧郁的心绪离开北京城的，但沿途走走停停，慢慢悠悠花了两个来月才回到老家湘阴。途经各地，历史悠久的名胜古迹，令人流连忘返的田园风光，使他心旷神怡，暂时忘却了自身的苦恼。
在第一次鸦片战争中亲眼见识了英国先进的军力，使得郭嵩焘比同时代的其他人更为迫切地关注西方。1859年2月，他给皇帝上疏，要求清廷培养专门的外交人才。在中国最早的三所外国语学校中，他协办、主办了上海广方言馆和广州同文馆。
1861年，有感于近20年来夷务（外事）工作一再出现的怪现象，郭嵩焘沉痛地说，其实中国人完全可以理直气壮地与外国人划定章程，与他们平等相处，不应该怕他们。但如果不了解外国的情况，一味用蛮力，反而会使“夷乱”加剧。在今人看来，靠僧格林沁去与洋人血战，而不懂得学习外交话语，融入国际社会，只会加剧中国的灾难。