唐高宗上元元年（674），孙思邈已值百岁多高龄了。他以年迈有疾为理由，请求辞京还乡。其实质原因还有：朝廷政局日趋复杂，斗争甚激烈，高宗之病已无痊愈希望，尽管他是高宗李治请去的高人，但毕竟在皇帝身边不自由，武后专权日甚，同唐宗室与文武大臣矛盾日渐尖锐。而且《千金翼方》的资料或书稿已经完成，更需要安静下来进行整理或修订了。“长安虽好，非久留之地”，故明智地决定回乡隐居。
唐高宗李治意欲挽留，但孙思邈主意已定，高宗择一吉日，撑起病体到含元殿偕文武百官为孙思邈离京饯行。并特赐良马以代步，又传旨把光德坊鄱阳公主府第赐封给他，作为在长安的府第。
孙思邈毅然告别京城，回归故里，开始了他的五台山（即今药王山）隐居生活。
孙思邈在五台山南麓（即南庵）虽然生活平淡，但他仍矢志不忘济世活人，正如他在《福寿论》中说道：“居贫富之中，常须守道，勿以贫富易志改性。”“金之得盈，福之已竭。无义之富，于我如浮云，不足为富也”。虽然孙思邈在京达15年之久，却并非是他贪恋京都长安的生活，而是不能拒绝为唐高宗李治治病的请求。因他有医治无类的思想，“凡有疾厄来救者，不得问其贵贱贫富、长幼妍媸、怨亲善友、华夷愚智，普同一等，皆如至亲之想”，况乎皇帝呢！
五台山南庵这块地方不仅符合孙思邈的退居要求，也是他养生最理想的地方。耀县五台山地处京都长安一百多里，“人野相近，心远地偏，背山临水”，“退居去家百里、五十里，但时知平安而已。应缘所要，并令子弟支料，顿送。勿令数数，往来愦闹也”。孙思邈长期的隐居颇有经验，以退居之所在深山老林是不好的，因“山林深远固是佳境，独往则多阻，数人则喧杂”，同时生活十分困难。五台山离京城家——光德坊不过百里有余，离华原（耀县）城近，便于儿子给养方便，亦不会喧闹，便于他安心养性，静下来思考著作。孙思邈还以为退居之所应当“气候高爽，土地良沃，泉水清美”。五台山南庵便完全符合他要求。这里的气候比太白山、终南山“高爽”多了，因它地处黄土高原之山林上，不像太白山终年积雪。这里土地肥沃，背负宝鉴山，面对漆河水，沟涧小河淙淙，没有污染，自然清甜甘美。五台山南庵符合孙思邈的环境要求，即所居住之所要“看地势向背，择好处立一正屋三间”。这离故里孙家原村也不远，仅有15华里，是他晚年十分理想的地方。
《千金翼方》中《退居》篇显然是孙思邈在上元元年以后写的。他说：“若知进而不知退，知得而不知失，嗜欲煎其内，权位牵其外，其于过分内热之损，胡可胜言？况乎身灭覆宗之祸，不绝于世哉！今着《退居养志》七篇，庶无祸败天横之事。”著书立说，寻一僻静的养生之所，以度余年了。