桓温府里极其无趣，谢安每天做次抄抄写写的工作，完全是大材小用。以前隐居东山，睥睨世俗，别人可能会对你肃然起敬；现在做起了小小的秘书，与常人一样上班下班，身上的光芒自然就消失了，时间长了，别人就不再那么高看你了。谢安心里有些失落，唉，何必在这受辱啊。
有一回，有人给桓温送来了一种草药，就是中药铺里常见的“远志”，其实“远志”是这味药的名字，这个植物名叫“小草”。
桓温随口问一句：“这个东西为什么有两个名字呢？”
参军郝隆赶紧凑上来说一句：“主公，这很容易解释，在山中就是远志，出了山就是小草。”说完还瞟了谢安一眼。
大家都是有知识的人，谁听不懂啊？谢安极其不爽，脸色难看极了。
这位郝隆是位狂人，最出名的事，是有一年七月初七，大白天躺在院子里晒肚皮，人家问他：“你干嘛哪？”他就说：“我晒晒肚子里的书。”这人真是自大得可以。
郝隆在桓温麾下做南蛮参军。三月三日，桓温举行宴会，大家饮酒赋诗。不能作诗的，罚酒三杯。开始郝隆因不能作，被罚三杯酒。喝完酒，郝隆拿起笔来写了一句“娵隅濯清池”。桓温问：“娵隅是什么东西？”郝隆说：“蛮人把鱼叫娵隅。”桓温有点不理解：“作诗为什么要用蛮语？”郝隆说：“我从几千里外跑来投奔你，才得了个南蛮参军，怎么能不说蛮语呢？”桓温大笑。郝隆用这种方式表达了对桓温不重视自己的不满。
郝隆就是这么个人，嘴巴不留情。谢安面对他人的冷嘲热讽，始终采取了回避的态度。因为他知道再就这个问题争辩下去，恐怕已无多大意义。现在，为了家族利益，他只有横下一条心，图谋仕进。
王羲之《丧乱帖》
当然，早年做隐士，标榜清高，后来又出于种种考虑，出山做官的，绝非谢安一人，这其实是中国历代知识分子的一个普遍现象。这种现象，后来被人称为“终南捷径”，其中典故由来的一段话，颇具代表性。其辞如下：
唐朝人卢藏用想入朝为官，就一直隐居在京城长安附近的终南山，并在此处取得了著名隐士的声望。后来，他果然因高名而受到皇帝赏识，从而平步青云，被人称为“随驾隐士”。之后，另一位著名隐士司马承祯也被征召，卢藏用就用手指指着终南山说：“这真是个好地方啊。”司马承祯听后，缓缓地说：“依在下看，这是升官的捷径啊。”说完，两位老友，相对会心一笑。
所谓条条大路通罗马，“终南捷径”也并非一个贬义词，历史上包括姜子牙、诸葛亮、王猛、谢安在内的许许多多名臣走的都是这条路。所以，标榜清高也好，在意功名也罢，只要能最后建功立业，是靠什么步入官场的，其实并不重要。“终南捷径”也直到北宋健全科举制度之后，才开始逐渐式微。
虽然，谢安的东山再起，是逼于无奈，但他的智慧与努力却为他换来了个人与家族事业的最高峰。