司马迁二十八岁那年，果然当了太史令。
为什么司马迁到这年才当上太史令呢？原来他的才能，早就给汉武帝看中了，司马谈死后，汉武帝就认定只有他最适合做太史令；可是按照中国旧日的习惯，父亲死了，儿子要守孝三年，不能做官。汉武帝就一直把太史令这官职空着，等司马迁守孝日期满了来担任。
司马迁自然很高兴地接受了这个职务。当了太史令，作研究就有了更方便的条件：国家藏的图书可以翻阅，档案可以查看；因为职务的关系，和当代学者也有了更多的接触机会。说到编写，他父亲原来也留下一些未完成的稿子，他就细心地加以整理。
他这时处的是顺境。他一心只想把工作做好，就谢绝了应酬，连自己的家务事也看淡了。他的书房里堆满了简册和帛卷（那时纸还没有发明，字写在竹片或绢帛上），他不分白天黑夜，只是不停地翻阅，不停地写。
司马迁这时跟着汉武帝巡游的事，也还不能免。好在他喜欢游历，倒也不觉得是苦差事。汉武帝不只到泰山、海边、塞外，有时也去江南。司马迁年轻时候便在这些地方采访了许多事迹，现在也有了温习这些史实的机会。
这时汉朝仍然很强大。汉武帝好大喜功，东征西伐，他每次出巡，都带了大队人马和外国宾客，为了夸耀中国的富足，还常常赏赐外国客人数不清的金银财宝。这样一来，不知浪费了多少财富，汉朝就渐渐外强中干了。当时很多有才能的人，也老的老了，死的死了。
汉武帝为了挽回人心，虚张声势，就在太初元年（公元前一〇四年），发动了攻打大宛国的战争。大宛是个小国，在现在中亚细亚地区。大宛有个贰师城，产汗血马，最为名贵，可是不肯送给中国。汉武帝因此派李广利去索取，他希望李广利一到贰师城就把马取回来，就称他为贰师将军。汉武帝为什么单派李广利去呢？这原来是出于他的私心：李广利是汉武帝宠爱的李夫人的哥哥，叫他去就是便利他立功受赏，便宜不能让外人占啊。可是李广利没有替汉武帝争到面子。第一次出征打了两年，打得大败，退回敦煌，带去的好几万人，折去大半。汉武帝大怒，派人把玉门关截住，说：“敢回来的就斩。”汉武帝又加派了六万兵马，大量水工，准备到大宛填井塞水，迫使大宛人投降。这还不够，又派了十八万兵马，准备接应。同时还派了两位会选马的老手，预备城一攻下就好选择马匹。汉武帝费了这么大的劲，马当然取得了，李广利也算得胜回朝。这次战争的结果，汉武帝一方面得到汗血马，一方面中国和西北交通从此更密切了。
汉武帝在征大宛的同时，又下令修订历法。这次修订历法由司马迁主持。在这以前，中国历法是把阴历十月当正月，有点像现在的阳历。可是因为计算不精确，常常误事。经过了司马迁等修订，就把岁首往后推了三个月，这就是后来的阴历。这样，四季分配合理了，节令也准确了。这对于农业生产是大有好处的。司马迁等人制定的历法，到今天我们还一直使用着。
司马迁也认为改订历法是件大事，他就选择这一年（太初元年）正式动手编写历史。这年他三十二岁。
一动手，他的工作还很顺利，然而当他写得差不多的时候，偏偏逢上了件倒霉事。