也作了实地考察，此即“上会稽，探禹穴”。从越至吴，登姑苏山，远眺五湖。他见到湖水汪洋浩瀚，相连成片，因而注意到水利：“甚哉，水之为利害也！”（《河渠书》）司马迁游历了江南之后，便渡江北上，来到淮阴（今江苏淮阴县东南），这里是韩信的故乡及封地。他走访了淮阴父老，了解到韩信等人的传闻。据说韩信自幼便有远大志向，他母亲死了，连埋的钱都没有，却选了个既高又宽的茔地，旁边可以住一万多户人家。司马迁便亲自到韩信母亲的墓地上去看了看，果然一点儿也不错！司马迁又渡淮水，沿泗水向北，到了鲁国都城（今山东曲阜）。这里是儒家的根据地，也是司马迁此次大旅行盘桓的时候最长的地方。他怀着崇敬的心情参观了孔子墓，看到孔庙中所收藏的孔子的衣、冠、琴、车、书等物件。对孔子的身世、学术等方面进行了认真的调查，对孔子的崇高人格无限景仰和向往，以至于留恋徘徊而不忍离去，他说：“余读孔氏书，想见其为人。适鲁，观仲尼庙堂车服礼器，诸生以时习礼其家。余祗回留之不能去云。”在深深体味了鲁地儒风之余，又到齐国的都城（今山东淄博市）游览了一番。在邹县，他去了秦始皇刻石颂德的邹峄山，并在此处向当地人学习饮酒、射箭的礼节，即《自序》中所谓“乡射邹、峄”。
司马迁经过齐鲁之游以后，也像当年孔子厄于陈蔡一样，困厄于鄱、薛、彭城。这都是山东南部和江苏北部之地。薛在滕县西南，是孟尝君田文的封地，后来司马迁在《孟尝君列传》中说：“吾尝过薛，其俗闾里率多暴桀子弟，与邹鲁殊；问其故，曰：‘孟尝君招致天下任侠奸人入薛中，盖六万余家矣！’世之传孟尝君好客自喜，名不虚矣。”彭城就是现在的徐州，丰（今江苏丰县）、沛（今江苏沛县）在其北，邳（今江苏邳县西南）在其中。这里是秦末农民起义的中心，汉初的重要人物多半生长于此。如汉高祖刘邦是沛郡丰县中阳里人，萧何是沛郡丰县人，曹参、周勃、樊哙、夏侯婴、周昌、周緤等都是沛郡人，卢绾与刘邦同里。张良虽不是这一带的人，但早年是在下邳亡匿，而遇见圯上老人的。项羽的籍贯是下相（今江苏宿迁县西）离沛、丰也很近。秦二世元年（公元前209年），陈胜、吴广在沛郡蕲县（今安徽宿县）揭竿起义，各地人民纷纷响应。
刘邦在沛被萧何、曹参等人拥戴为当地起义军领袖“沛公”。楚汉战争时，刘邦的56万大军为项羽的3万精兵所败，赶得汉兵有10万余人挤到雎水里，雎水为之不流。这有名的古战场即在彭城及其东南一带。司马迁来到这一具有丰富历史遗迹的地区，虽然个人生活非常艰苦，但毫不影响他考察历史的兴趣。关于秦、汉之际许多重要人物微贱时的行迹，大都是此时采访所得。他说：
“吾适丰沛，问其遗老，观故萧、曹、樊哙、滕公之家，及其素，异哉所闻！方其鼓刀屠狗卖缯之时，岂自知附冀之尾，垂名汉廷，德流子孙哉？”（《樊郦滕灌列传》）他所说的这些人，原来都出身于社会下层，在风云际会中成为王侯将相。萧何、曹参原为狱吏，后来官至相国；周勃原为给人治丧时的吹鼓手，也官至相国；樊哙本来是屠狗的，被封为舞阳侯；灌婴是卖缯的，被封为颖阴侯；夏侯婴是个车夫，也是刘邦少年时代的耍伴，封为滕公；周昌是个小吏，官为御史大夫；卢绾与刘邦既是同里，又是同日生，从小就十分友好”长大后，卢绾随刘邦起义，后来被封为燕王。至于刘邦当年为泗水亭长时，对廷中吏无所不狎侮，好酒及色，经常喝得烂醉，又喜欢说大话。如果不实地访求，是很难得到的。这些历史的实际情况。
司马迁又西南行至陈（今河南淮阳县），这是战国楚地，春申君黄歇的城池和宫室还完好地保存着。司马迁参观了这座古城、凭吊了古人之后，便由此往西北至大梁（今河南开封市），这是战国魏的都城。在这里，司马迁从当地人中了解到魏国灭亡的最后一幕：“秦之破梁，引河沟而灌大梁，三月城坏，王请降，遂灭魏。”
（《魏世家》）由魏的灭亡，司马迁联想到对魏的存亡起过举足轻重作用的信陵君。于是便遍访关于信陵君的旧事轶闻。信陵君的故事中最为精彩的就是执辔迎夷门监者侯赢。司马迁在《魏公子列传》中记述了他的见闻：
“吾过大梁之墟，求问其所谓夷门。夷门者，城之东门也。
天下诸公子，亦有喜上者，然信陵君之接岩穴隐者，不耻下交，有以也；名冠诸侯，不虚耳；高祖每过之，而令民奉祠不绝也。”司马迁壮游便告一段落，然后回长安。司马迁返回长安以后，被选到朝廷里当了郎中，郎中是汉朝宫廷内部官僚机构中一个很低的官职，据《汉书·百官公卿表》所载，“郎中有车、户、骑三将，秩皆比千石”。其职责是“掌守门户，出充车骑”，即皇帝在宫廷时，他们守卫宫门，出巡时，又侍从车驾。可见，郎中地位虽然不高，俸禄不多，却能接近皇帝，容易受到宠幸。在当时，这一职务还颇有吸引力，一度成为富贵子弟竞相追求的美差。在汉朝仕为郎中的途径很多，但主要渠道有三条：一是父亲官阶二千石，可以把儿子选送去；二是富可以家赀获得；三是可以先补博上弟子员，再经过考试，成绩优异者可为郎中。司马迁的父亲是太史令，官阶六百石，家境也不富裕，司马迁不可能通过前两条途径仕为郎中，司马迁是作为优秀青年，先经过博上弟子员，成绩又考得好，才得任郎中的。从一个地位“近乎卜祝”之间的史官儿子，通过自己的努力，成为皇帝的近侍，司马迁当初的确感到十分荣幸。
司马迁做郎中后，经常侍从汉武帝。元鼎五年（公元前112年），司马迁24岁，随武帝巡行，西至空峒（今甘肃平凉县西）。他借此时机，经过实地考察，访问老人，把从书本中得到的关于黄帝的传说重新核实了一遍。他在《史记·五帝本纪》的“太史公曰”中记录了此事：
“学者多称五帝，尚矣。然《尚书》独载尧以来；而百家言黄帝，其文不雅驯，荐绅先生难言之。孔子所传宰予问《五帝德》及《帝系姓》，儒者或不传。余尝西亚空峒，北过逐鹿，东渐于海，南浮江准矣，至长者皆各往往称黄帝、尧、舜之处，风教固殊焉，总之不离古文者近是。”
由此可见，这次空峒之行，司马迁虽为侍从，但他一刻也没忘记搜寻和印证史料，以完成他父亲的遗命。
司马迁空峒之行的次年，即元鼎六年（公元前111年），又奉命出使巴、蜀和滇中，这年他才25岁。这次奉命西征，是代表汉王朝去视察和安抚西南地区各少数民族的，他在《自序》中提到了这次使命的始末：“奉使西征巴、蜀以南，南略邛、笮、昆明，还报命。”司马迁此行，是西汉王朝与西南夷关系史上的一件大事。早在元光五年（公元前130年），那时司马迁才6岁，汉武帝命唐蒙为将，率兵千人，从巴（今重庆一带）蜀（今成都一带）筰关（今四川西南汉源县）分道入夜郎国（其中心是今贵州北部桐梓），夜郎附近小邑因而归汉，汉遂建立了犍为郡，就是今天的四川宜宾。当时为了经营西南，汉朝曾动员了数万巴蜀之地的人民，修筑从宜宾到贵州北盘江（当时称牂柯）的道路，巴蜀人民不堪如此重负，纷纷逃亡，甚至有酿成民变的可能。汉武帝见仅靠武力镇压不能奏效后，便派司马相如前去安抚，推说此前的做法只是唐蒙等人的私意而已，朝廷本无心这样做，这才平息了众怒。司马迁的这次西南之行，比他的前辈走得更远了一些，不但到了巴蜀以南，邛笮（今西昌一带）之地，而且到了昆明。这次奉使是从元鼎六年启程，到元封元年（公元前110年）春回来的，时间不满一年。
这次的西行路线，是南出汉中，经过巴郡，到了犍为郡，再到牂柯郡。由牂柯郡转到蜀郡，经零关道，到越巂郡（今西昌一带），最后抵沈犁郡（今四川汉源一带）。司马迁的这次奉使，不仅圆满地完成经略西南的任务，还充分利用这次机会，对西南地区的地理形势和物产状况以及各族人民的风俗习惯作了详细的观察和了解，这为他后来写《西南夷列传》和《货殖列传》提供了丰富的材料。
汉武帝元封元年（公元前110年），为了显示自己的功业，决定到泰山举行封禅大典。汉武帝此次封禅的规模空前宏伟，在封禅之前，他亲自统率12部将军共18万骑兵，从云阳（今陕西淳化县之甘泉）北上，一路上旗旗招展，经上郡（今陕西绥德县）、西河（今内蒙鄂尔多斯左翼前旗）、五原（今内蒙五原县）等郡，越过长城，登上单于台，把匈奴威胁了一番。遂后又回到了桥山（今陕西中部县西北），在那里祭祀了黄帝冢，然后回到云阳，这是元封元年冬十月的事。到了这年的春天正月（当时历法以十月为岁首），这支庞大的队伍才又东下，去泰山正式封禅。身为太史令的司马谈也随从东行，但在到了洛阳的时候，司马谈却病倒了。这时司马迁刚刚从西南出使归来，尚未见到武帝，便急忙赶到洛阳探视父亲。司马谈在弥留之际，嘱咐年时26岁的司马迁要继承祖业，著史立说，“扬名于后世，以显父母”。司马迁含泪接受了父亲的遗命后，因为职务的关系，便匆忙离开了洛阳，去追赶汉武帝的封禅队伍，扈从东行。汉武帝到了山东，先东巡海上。于这一年的四月才由海上到了泰山，开始正式封禅。因为封禅使司马迁有机会侍从武帝东巡海上，这便加深了他对齐地风土人情的了解，他说：
吾适齐，自泰山属之琅琊，北被于海，膏壤二千里，其民阔达多匿知，其天性也。以太公之圣建国本，桓公之盛修善政，以为诸侯，会盟称伯，不亦宜乎？洋洋哉，固大国之风也（《齐太公世家》）。
此外《史记》中关于齐人的许多记载，如驺衍、公孙弘和许多方土如少翁、栾大、公孙卿、丁公、公玉带，也大都是侍从东巡时调查所得而写就的。
汉武帝封禅大典结束后，于元封元年五月，乘兴率领这支人马又“东至海上”。之后，便由东海北到碣石（今河北昌黎县境），巡自辽西（郡治在今河北卢龙县东），历北边至九原（今内蒙五原县），返回甘泉。司马迁这次从巡，又等于游历了一遍北部边疆，他在后来的《蒙恬列传》里提到了他这次北边之行的观感：
“吾造北边，自直道归，行观蒙恬所为秦筑长城亭障，堑山堙谷，通直道，固轻百姓为矣！”
他沿途考察了蒙恬所筑长城的宏伟，又为其滥用民力而叹息！
司马迁游历了东南、中原和西北，奉使出征又游了西陲和川滇，又领略了海上景色与塞外风光。有了这样的阅历，如此开阔的眼界，以及丰富的感性材料，为写《史记》打下了基础。
元封二年（公元前109年），即封禅的第二年，27岁司马迁，又侍从武帝参加了负薪塞河的工程。早在元光三年（公元前132年）夏五月，黄河在濮阳（今河南濮阳县南）瓠子决口，洪水泛滥，东南注入钜野（今山东巨野县），流经淮、泗，使河之南16郡人民大受其灾。
当时武帝派汲黯、郑当时动员10万人去堵塞，但堵得不牢固，以后又经常被水冲坏。此后20余年，黄河不断在瓠子决口，人民深受其苦。至这次封禅，武帝到处礼祭山川，又念及此事。元封二年春天，汉武帝又到了缑氏城（今河南偃师县南），更东行，到山东半岛胶东，四月的时候，又去祭了泰山。因为这一年天旱，收成不好，而黄河在瓠子又一次决口，人民的生活更苦了。于是汉武帝便亲率百官去塞河。塞河前，武帝率领百官先行祭礼，“沉白马玉壁于河”，然后“令群臣从官自将军已下皆负薪寘决河”。先在决口处用竹子打下一排排桩子，然后再填上百官背来的柴草和土石，加以防塞。除了堵塞决口之外，又为河水开了两条渠道，使其宣泄。
又是宣，又是防，所以在这里盖了一座宫殿，称为宣房（取其与防同音）宫。这样做还担心难以成功，武帝于是作了两首《瓠子歌》，第一首是：
瓠子决兮将奈何？皓皓旰旰兮闾殚为河！殚为河兮地不得宁，功无已时兮吾山平。吾山平兮钜野溢，鱼沸郁兮柏冬日。延道驰兮离常流，蚊龙骋兮方远游。归旧川兮神哉沛，不封禅兮安知外！为我谓河伯兮何不仁，泛滥不止兮愁吾人？啮桑浮兮淮泗满，久不反兮水维缓！
第二首是：
河汤汤兮激潺湲，北渡污兮浚流难。搴长茭兮沈美玉，河伯许兮薪不属。薪不属兮卫人罪，烧萧条兮噫乎何以御水？颓林竹兮楗石菑，宣房塞兮万福来！
值得庆幸的是，在数万人的参加下，终于把瓠子决口塞住了，使河南、皖北、苏北一带的人民免受水灾。
司马迁参加了这次活动，他通过实地考察的印象和有感而写下《瓠子》之诗而作《河渠书》。
年才28岁司马迁在司马谈死后3年，即元封三年（公元前108年），被任命为太史令，正式开始了他的史官生涯。太史令官阶六百石，在整个官僚机构中是低下的。