孙思邈晚年隐居耀县五台山南庵，虽没精力上太白山、终南山并外出远行了。但他不因功绩卓著而满足，不以年迈寿高而停步，仍然是“白首之年，未尝释卷”，孜孜不倦地读书学习，并对他长期积累起来的大量方剂进行全面系统的整理总结，其内容非常丰富，有来自民间的、宗教的、外国的，更多的是他自己在实践中创制的方剂和养生长寿的经验。其方剂十分注意临床验证，如在其后有“大验”、“神良”等之效用，或有的“故录之”。数十年来随时收集验证，随时纪录，把零碎录记的案卷数十带到五台山，一一认真整理类分方剂，“总摄众病”，“临事处方”，有些方药至今沿用效佳，如独活寄生汤、续命汤、三黄汤、犀角地黄汤、生脉散、温胆汤等。
当时向孙思邈求医的人太多，为了便于群众治病，孙思邈请石匠把常见病的土、单、验方剂刻在一块高大的八棱碑石柱上，立在五台山下的大路旁，专供人们传抄。一时看碑和抄方者络绎不绝。
后来群众把这石柱碑叫做“石大医”。
孙思邈在《备急千金要方》问世30年后，于唐开耀元年（681），又完成了《千金翼方》巨着30卷。这是孙思邈取“羽翼交飞”之意，以补充《要方》之不足，并同其一起“成一家之学”。全书多以方剂为主，包括以汤、散、丸、丹等剂型，可治60余种疾病的方剂2900余首，草、木、兽、石等分类的药物872种，养生长寿等内容极其丰富珍贵。如在《退居》篇中说：“退居之人，岂望不死羽化之事，但外物逼切，庶几全其天年。”孙思邈在《千金翼方》中几乎没有像李白那样流露出对长安生活的怀念之情，这一点可见其思想境界就很高了。
完成《千金翼方》后，孙思邈便由病而终。据传《千金翼方》的最后几卷，是由孙思邈口述，孙子孙溥代笔而最后完稿的。时关中正值前所未有的大瘟疫，加之连年大旱，人民群众病、饿死之尸骨沿途不断。孙思邈对之默然无语，只是垂泪，心情陷于无限悲愤之中，在弥留之际，他仍以极微弱的声音不住地叹道：“黎民苦也……”并在病榻上一再叮嘱子孙和官吏：“遗命薄葬，不藏冥器，祭祀无牲牢。”在场的子孙亲友无不伤心落泪，悲痛万分。唐永淳元年（682）二月十五日，伟大的医药学家、药王孙思邈与世长辞了。其隐居地五台山聚集了许多来祭奠的人群。后来，每年此时，逐渐演变成庙会。而纪念孙思邈的庙宇千百年来遍及全国各地。