这位重操远祖旧业的司马谈，才是真正把司马迁引向伟人伟业大道的关键人物。同时，他对司马迁的思想有很大影响。
也许司马迁在私人方面不便多费笔墨，关于他的父亲，在《史记》里并没有详细叙述，所以司马谈的生年无法考证，只知道他死于公元前110年，即司马迁三十六岁那年。他是在汉武帝建元年间担任太史令，确切的年代不知，大概是在汉武帝登基后一两年内，也就是司马迁六七岁的时候。不过，关于司马谈的思想，《史记·太史公自序》记载了一篇他写的论文，这篇文章非常有名，也非常有价值，叫《论六家要旨》。他把春秋战国以来的学术，整理出一套系统，井然有序地对阴阳、儒、墨、名、法、道六家学说作出了简要而一针见血的总评。他最推崇的是道家，而批驳最多的则是儒家。他认为各家学说有个通病，就是过于偏狭，没法灵活运用，只有道家“因阴阳之大顺，采儒墨之善，撮名家之要”，而且“与时迁移，应物变化”。换句话说，就是最具有综合性和最富于弹性。照这个说法，如果“道家哲学就是过来人的哲学”是正确的话，那么在司马谈的眼中，道家可真就是从儒、名、墨、法、阴阳各家“过来”的经典哲学了。他盛赞道家“无为而无不为”，批评儒家“博而寡要，劳而少功”，因为“儒者以六艺为法，六艺经传以千万数（经籍太多了），累世不能通其学，常年不能究其礼（永远学不完）”。
司马谈的这一套思想，对司马迁有着很大的影响。这篇文章写于哪一年，没有明文记载，但写作的背景却是非常明显的。那是汉朝由初期的“黄老之术”，转到“罢黜百家、独尊儒术”的过渡时期。显而易见地，司马谈是沉湎于过去黄老之术的代表。司马迁承袭了他评六家的学风，但是“他的见识和衡量，已超过了他父亲。他对孔子以下百家的衡评，直到现在两千年来大体还如他意见”（钱穆语）。也正因为他“超过”了他的父亲，而且，他的时代虽然全部在“罢黜百家、独尊儒术”的汉武帝时代的笼罩下，但是实际上，汉武帝的尊儒只是做了表面功夫。所以司马迁实际上也生活在一种思想转型的空气中，不过比他父亲的时代更向儒家靠近而已。
本来这是那种过渡时代无法避免的思想现象，不足为奇。但后世却每每为司马迁的思想究竟是“尊儒抑道”还是“尊道抑儒”而争论不休。双方都可以在《史记》中找到许多的证据来证明自己的看法，只是，会不会“劳而少功呢”？
就司马谈来说，《史记》说他曾向一位叫唐都的方士学过“天官”。“天官”用现在的话说，就是研究日月星辰的天文学，接近阴阳家。他也曾向杨何学易经，这是一门具有道家色彩的儒学；又向一位姓黄的先生学习“道论”，此人大约就是司马谈道家学说的授业老师，灌输给他道家的思想。
这样一位学黄老、崇黄老的父亲，司马谈给司马迁的是怎样的教育呢？说起来也很合理，他在那个过渡但提倡儒学的时代，仍是随着潮流，让司马迁接受儒家教育。因为毕竟这是中央政府的政策，而他也在中央政府任职。
在这样一个时代生活，在这样一位父亲的安排调教之下，司马迁的思想怎么能够按照后世的标准加以评定呢？说他就是什么家，或客观点说他是偏重什么家？这个问题，看来永远是“仁者见仁，智者见智”。但是，最重要、也是最主要的是，别忘了司马迁是个史学家，是个浪漫时代的浪漫史学家。他好奇的眼光，射向任何他能看到的角度，而这些都是他思想源泉的一部分，是他思想的影子。
司马迁的父亲对他的影响很大，但绝不是他的全部。一个成功的史学家，往往先具有敏锐而且敏感的触觉，而后有准确的反应和反馈，他是一个时代的测定器。其生存和生活的体验是极为重要的。所以，还是撇下空泛的名词，一切从头说起，先谈谈他的少年。