司马迁的祖辈世世代代都担任着周的史官，他的父亲司马谈是汉的太史令。司马谈逝世后三年，司马迁继任为太史令。从此，司马迁开始收集皇家图书室中的资料，着手撰写史学著作了。
十年之后，司马迁因为替兵败被俘的李陵说了几句公道话而触怒了汉武帝，被关进了监狱，并被处以阉割生殖器的“腐刑”。他长叹一声说：“这是我的劫数啊！从此不会受到任用了。”后来，他反复考虑，认为：“《诗》、《书》之所以言辞简单而含义深刻，是为了表达作者对现实的思考。”于是他继续完成自己的史著，终于写成了《太史公书》，也就是今天的《史记》。此书所述，自黄帝始，至唐尧、虞舜之后直到汉武帝捕获白鳞止。
司马迁为完成《太史公书》，广泛搜集天下的逸闻遗事以及历代帝王兴起的事迹，研究观察历史事件的起始和终结，在兴盛的历史时代中，发现衰亡的征兆，评论、考察历史人物的所作所为，他的《太史公书》中，关于夏商周三代记得较为简略，而详细地记录了秦汉间的历史风云。
司马迁受腐刑后不几年，又被汉武帝委任为掌管传宣诏命的中书令。中书令通常由宦官担任，但因为接近皇帝所以一般人都认为是个尊贵显要的职务。司马迁担任中书令后，他的老朋友——担任督察益州官吏职务的益州刺史任安写信给司马迁，要他像古代贤臣那样，向皇帝推荐人才。司马迁收信后，立即给任安回了一封长信，尽情倾吐了心中的委屈和自己强忍屈辱的原因。
他说：“我和李陵虽然同在朝廷为官，但平时并没有什么交往，爱憎也不同，更没有相互宴请以联络感情的事。但我看李陵平时的表现，算得上是个才能出众的人。他孝敬双亲，与朋友交往讲信用，而对金钱不生贪心，面临取舍时也做得很适宜，分配东西时总是谦让，平时还恭敬谦逊地居于人后，不喜欢抛头露面出风头。
“他经常考虑的是：一旦国家有事需要他，便奋不顾身地为国家献出生命。从他平时的表现来看，我认为他确实是个才能品德出众的人。李陵作为我朝大臣，出生入死，从不考虑个人得失而勇敢地率兵深入匈奴腹地，为国作战，这已是很难得的行为了。现在他犯了错误，那些安居后方，保全自己和妻子儿女性命的大臣们就夸大他的罪过，加以指责。对于这种情况，我感到十分痛心……皇上知道李陵兵败的消息后，吃不香，睡不着，甚至上朝时都不高兴。大臣们又是着急又是害怕，不知怎么办才好。我不敢因为自己地位卑下就不管国家的事，看到皇上整天愁眉苦脸、闷闷不乐，诚心想献上自己的耿耿忠心。我认为李陵在和士大夫们交往时，总是把好处让给大家，因此大家都愿意为他献出生命。即使古代著名的将领，也赶不上他。
“这次兵败之后，他投降了匈奴，我推测他的用意，大概是想在匈奴干一番事业，为汉立一大功以抵损兵折将之罪。事情既然已经到这个地步，不可改变了，只好顺其自然，何况李陵的苦战，沉重地打击了匈奴，其功劳也能够向全国民众公布，不至给皇上脸上抹黑。我几次想向皇上陈述上面的想法都没有找到合适的机会。后来适逢皇上召见我，问起此事，我便根据上述想法阐明李陵的功劳及其作用，想用这些来宽慰皇上的心，同时也反驳那些报复李陵的不实之词。因为我没能完全讲清楚，圣明的皇上没有理解我的用意，反而认为我诬蔑贰师将军国舅李广利，而为李陵辩护，于是把我关进大狱。
“我的耿耿忠心，始终不能向皇上陈述，结果被处以诬蔑皇家的罪名，被判处腐刑。按照法律规定，我可以用钱赎罪，免受腐剂。但我经济拮据，即使用尽所有积蓄，都不够用来赎罪。我的那些朋友，因为怕受牵连，都不敢救我，皇上身边受宠幸的大臣，也不敢帮我说一点好话。我只身一人和那些法官狱使打交道，被关在幽深的大牢中，人非木石，受尽折磨能不痛苦吗？可是我又能向谁去诉说呢！李陵投降匈奴，败坏了李家数代的好名声，我因为身受腐刑，为避免创伤溃烂，又被人送进密闭的温室中，二人都遭到天下人的耻笑，可悲啊！可悲！
“无论是谁，都免不了一死。但并不是所有人的死都具有相同的意义：有的人死得比泰山还重，有的人死得比鸿毛还轻，这是因为他们死的原因和方式不同的缘故。人们的死，各不相同，最好的一种是自己的死不辱没先人，其次是自己不致受到侮辱；在受辱而死的种种情况中，最下等的是受腐刑而死，这是一种受辱到极点的死！
“人之常情，都希望活命而不愿意死，总是留念自己的亲戚、妻子、儿女等等。我虽然懦弱，想得过且过地活下去，但也清楚地知道什么情况下能活命，什么情况下应该毫不迟疑地去死。为什么我甘愿承受牢狱、腐刑的奇耻大辱呢？之所以愿意忍受这种痛苦？在人们的鄙视中苟且偷生，是因为我的史学著作还没有完成，如果就此死去，则我的大作、才华湮灭不传，九泉之下岂不遗憾。
“左丘明失明，孙膑断足，不能在社会上作出一番事业，便著书立说以抒发自己的悲愤，想让它们流传后世，从而表现自己。我不自量力，搜集天下遗闻逸事，考察历史事件的发展变化，研究它们成功、失败的道理，共写成了一百三十篇，想以此研究天和人之间的关系，通晓从古到今的发展变化，从而确立我对历史的见解。可惜写到一半时，就卷进这案子中去了。为了完成这个工作，我才不惜受辱，毫无怨怒地接受了腐刑。现在，我已完成了这部史学著作，准备把它保存在名山之中，交给那能使它广为流传的人，这就可以抵偿我因受辱而承受痛苦所付出的代价了。即使受辱一千次，一万次，我也不会后悔！”
刘向、扬雄博览群书，都是当时的著名学者。他们在读了《太史公书》后，都一致称赞司马迁是一代良史，认为他具备史学家的优良品德和写作才能，佩服他善于叙事，长于说理。《太史公书》虽然极富文采，但不浮华，虽然文风质朴，但不鄙陋；全书记载都能做到直书其事，真实可靠。对于所记历史人物和事件，既不任意褒奖它们的美善，也不有意隐瞒它们的丑恶。因此《太史公书》可以称得上是一部实事求是的历史著作。