春秋一代，由于政治斗争和兼并战争都异常激烈，所以不仅国与国之间存在着以大欺小、以强凌弱、明争暗斗的纷争混战，而且即使在一个诸侯国内部，以国君为首的公族和卿大夫们之间的内斗，也都存在尔虞我诈、相互倾轧的险恶局面，这从孙氏家族的一百多年中两次大的迁移即可窥豹一斑。处在政治斗争漩涡中心的人，周围往往随处可见刀光剑影，时时须防明枪暗箭，人与人之间关系充满了虚伪诡诈。为了远离是非，求得人生的安宁和内心的平衡，便产生了一大批像老庄那样的隐士和贤人。他们不愿以丧失良知和扭曲人格为代价，去换取功名利禄，也无心冒着杀身丧命的风险去反抗现实，或者认为这种反抗无济于事，所以干脆采取消极退避的方法，远离政治，不求功名，隐居山林，过着一种消闲自在的生活。或者只将自己的救世理论或学问传授给门人弟子，安度一生，以尽天年。在中国古代，人们往往将这一类人看成识时务的伟大智者，受到人们的普遍敬仰和称颂，如同孙武同一时代的老子和范蠡。
而春秋战国时代，由于特殊的历史原因，使“隐居”成为一种相当盛行的社会风尚。从当时的历史文化环境中，我们有理由认为孙武晚年也极有可能加入了“隐士”的行列。他不愿为贪恋富贵而使自己处在风暴的中心，在破楚入郢之后，已进一步看清了吴国政治今后的走向，坚定了自己的归隐决心。
孙武一生，著《兵法》十三篇，协助吴王阖闾破楚入郢，名震天下。虽历千年而至今天，他的名字犹在中国历史的星空中光彩夺目。然而，令人不解的是，有关这位伟大的历史名人的后半生事迹，也就是有关他破楚入郢后的下落却没有任何典籍记录。至于孙武为什么而终，终于什么时候、什么地方，葬在何处，也都成为历史的不解之谜。为此，人们很早以来就对孙武的后半生事迹和最终结局，有过多种猜测和探索。
可能的事实是，孙武早已离开吴宫，隐居起来。但由于孙武在吴国为将期间对吴国的军队训练、将领培养及军事指导方面发挥的巨大作用，使吴国在短时期内拥有了一支战争力强的军队，成为一个军事强国，以至于接连战胜强敌。直至成为诸侯霸主，所以司马迁才会说吴国“北威齐晋”中仍有孙武的巨大贡献。
司马迁在《史记》中，写下了孙武吴宫练兵的传奇故事后，只简略地交代了孙武拜将之后，辅助吴王阖闾“西破强楚，入郢，北威齐晋，显名诸侯”的事迹。有关“西破强楚”的过程及孙武在其中所起的作用，史书记载都相当清楚，但有关吴国“北威齐晋”中孙武的所作所为，各种史籍却都没有明确记载。由于司马迁认为“北威齐晋”也包含了孙武的巨大功劳，所以有人据此认为，孙武在破楚入郢之后仍在吴国为将，并继续着他的戎马生涯。如果事实确是如此，从公元前512年孙武晋见吴王阖闾算起，到公元前484年吴齐艾陵之战为止，孙武在吴为将就有30年之久。但这种说法缺乏史料证据，我们只能认为这只是有关孙武后半生活动的一种猜测。因为孙武如果一直在吴国担任重要职务长达30年之久，那么他在吴国的政治地位应不在其友伍子胥之下，但为什么有关伍子胥的事迹活动在各种史书中都有那么详尽细致的描写，而没有孙武一言一行的记载？
除此之外，还有一些隐士，他们本来并不看重功名，但有的为救国救民，有的为实现自我人生价值，所以常常按照“良禽择木而栖，贤臣择主而仕”的原则，求仕于那些能够赏识他们才华的君主，一展个人抱负。一旦实现了自己的目标，便功成身退，绝不贪恋于红尘利禄。这类人一则由于本质上不争名夺利，再则睿智过人，对于世事洞若观火，因此即使在“伴君如伴虎”的专制时代，也能够做到“全身而退”。
冯梦龙在著名古典小说《东周列国志》中，便描绘了孙武归隐时的感人情节：吴王闻阐在破楚入郢之后，对大臣们论功行赏，认为孙武的贡献最大，应为首功。孙武本人却不愿居官，请求辞官归隐。吴王阖闾自然不舍这位武略超群、安邦定国之才的离去，一心想让其友伍子胥游说孙武继续辅佐自己完成霸业。孙武决心早定，不可更改，反而劝说伍子胥：“您知道天道的规律吗？暑天过去了，必然是严冬的降临；春天消逝了，必然是秋天的到来。吴王阖闾自恃暂时的强大，四面诸侯不敢侵犯吴国，已经产生了骄傲自满的情绪，这将会是吴国的不祥之兆。我们这些曾为他立过功的人，如果不趁这个时候退出，保全自己的性命，将来定会遇到想象不到的灭顶之灾啊！我今天对您讲这些的目的，不仅是为了想保全自己，还想保全老朋友您啊！”
伍子胥不以为然，拒绝了孙武的劝告。孙武便飘然离去，并将吴王所赠的财物，沿途散给了那些贫苦的百姓，后来人们就再也不知道孙武的下落了。
这虽然只是小说中的一段描写，但联系当时的历史背景，透过孙武其人在兵法十三篇中所表现出来的高尚情操和智慧，不难看出孙武对于正义和和平的向往。孙武在兵法十三篇中有说：“进不求名，退不避罪”，当为他的人生信条。面对吴国君主的骄横与残暴，他毅然走上归隐之途合乎情理。因此，后世有人评说：“孙子十三篇兴吴，吴几霸矣。功成身隐，盖不欲为胥江之怒涛耳。”
孙武归隐不久，伍子胥就为吴王夫差所杀。从伍子胥的悲惨结局来看，孙武的归隐，是非常明智的选择。
孙武归隐之地，大约在今天的江、浙一带。三国时的孙坚、孙权父子是吴郡富春人，而《三国志》中明确记载他们是孙武的后裔。这样看来，孙武归隐以后，一直生活在南方，他的后半生是在田园式的隐居生活中度过的。他的子孙后代也一直在这个地方繁衍生息。
孙武墓冢究竟在什么地方？始记载者为东汉《越绝书记吴地传》；“巫门外大冢，吴王客齐孙武冢也，去县十里。善为兵法。”详记载者为孙武后人清代孙星衍《（毗陵）孙氏谱记》：“吴东门外有孙武冢，见《越绝书》。《郡国志》：在吴县下。《皇览》注：县东门外孙武冢。唐陆广微《吴地记》。巫门西北二里，有吴偏将军孙武坟。吴俗传其地名名昌。巫门误作平门，永昌在子城西北六里五十步，非仅二里，与《吴地记》后集不符，盖熊之忽也。星衍云：孙子墓在苏州府东门外十里，历代地志记载甚明。”
可见，孙武辞官后并未离开吴国，而是在隐居吴国继续研究兵法，直至终年。一说孙武受伍子胥牵连，被夫差“诛戮”；另一说孙武归隐深山，悉心牧羊，以羊群为兵，演练兵法。这些说法，或无详载，或属小说家言，暂且存疑，以备后考。清人孙星衍考证，在今江苏省苏州市平门外雍仓有一古墓，当地人称“孙墩”，即孙武墓。
现代又有学者通过考证，确证苏州吴县陆墓镇虎啸村孙墩浜南之大冢为孙武墓。