他父亲怎么会病倒在洛阳呢？原来是这么回事：汉武帝越来越迷信了，他要率领文武百官到泰山去祭天，祭天以前，要天下太平，没有战事，于是他就亲自带了十八万骑兵，越过长城，到现在内蒙古自治区五原、呼和浩特一带，向匈奴示威。汉军旗子招展一千多里，匈奴见汉军这般威风，哪敢交锋！汉武帝认为这就是天下太平了，就率领大队人马经过陕西回到洛阳，再东去泰山祭天。汉武帝这次祭天，司马谈跟着去了，不幸到了洛阳，他却卧病不起了。
司马迁赶到洛阳，见父亲在床上痛苦地呻吟，心里十分难过。父亲紧紧地握着他的手，不住流泪，他断断续续地告诉儿子：“我们祖上就做过周朝的史官，前辈中不少人干过大事，后来不成了，难道祖宗事业就这么断了吗？不能，不能啊！你最好能当个好史官，继承祖宗的事业！……”
司马谈一会儿又叹息着：“唉！天子到泰山去祭天，是难得碰上的大事。我去不成了，真是命啊，命啊！”
老人最后又叨念着史官的事：“我死了以后，你可能继承我的官职。如果当上太史令，可不要忘了我这心愿，四百多年前孔子修过史书《春秋》，这以后就再没有人接替他老人家的工作了。如今天下统一，十分难得。我见过不少好人，他们正直无私，做过许多有益的事；我也见过一些坏人，他们贪婪残暴；我是史官，应该把这一切都记录下来，可是，我已经来不及做这工作了。这是我放心不下的，你千万要记着！”
司马迁默默地听着父亲的嘱咐。他向父亲发誓：“你尽管放心，我即使愚蠢，也一定要实现你的志愿。你编写的草稿，我一定加以整理、补充。你收集的材料，我会珍视它、充分利用它。我决不懈怠，你老人家放心吧！”
老人坦然闭上眼睛，离开了人世。这一年司马迁二十六岁。司马迁死了父亲，自然十分悲痛，但想起父亲的教诲，又琢磨着父亲临死时讲的那些话，他明白了父亲对自己的希望多么殷切！父亲希望他当第二个孔子，写第二部《春秋》，对好人善事要表扬，对坏人恶事要攻击！
从此，他写史书的决心更大了。他因为还有职务在身，不敢怠慢，擦干了眼泪，就又奔向泰山，追赶汉武帝祭天的大队人马去了。