刘邦自与吕雉结为夫妻，在一段时间内精神上很是愉快，尝到了小家庭的温暖。然而，像刘邦这样一个胸怀大志的人，小家庭的温暖、儿女情长之类并不能使他在精神上得到全部的满足。成家几年之后，他时时有不可名状的烦闷生出来，但又都不是妻子、儿女们惹的。这时，有一件“美差”使刘邦的这种精神状态得到了缓解，此事与秦帝国的徭役制度有关。
当时，秦帝国的成年男子，除了每年为郡县地方政府服一个月的劳役外，一生中还要为中央政府（国家）服徭役一年，戍边一年。事实上，秦帝国农民的徭役负担很重，远远超出制度上的规定。按制度上的规定，沛县农民每年都要有人到都城咸阳为国家服徭役。浩大的秦始皇陵与阿房宫工程，常年需要几十万劳力。郡县被征调的服徭役的民夫，当然要由地方政府派人带领前往，并由带领者监管这些民夫。地方政府中的官吏，一般都不愿担任这一差事。因为这不仅要远离家乡，备尝旅途的辛苦，有时还要承担一些意想不到的风险，责任重大。秦法对带领民夫的官吏有着非常严苛的要求与规定，违犯法规者将视其不同情节给予严厉的惩罚。
一日，刘邦正在亭舍中闲坐，胸中很是烦闷。恰巧曹参因公事路过这里，到亭舍休息片刻，顺便与刘邦叙谈叙谈。刘邦在烦闷之际见好友光临，很是高兴，邀曹参到武大娘酒店痛饮一场。曹参深知同刘邦饮酒不醉不休，而自己又公务在身，必须及时赶回县府，便谢绝道：“亭长，今日实在对不起，手头有一个紧急的案子要办，天黑前必须赶回县府。容我改日陪亭长喝个痛快。”
刘邦看曹参讲话时的表情，不像是说谎，也就不再勉强，说道：“这次就依了你，回去请转告萧功曹，就说我很想他，请他近日能抽空光临亭舍。到时候你随他同来，咱们痛饮一场。”
“恐怕不成，他近日忙得很哩。”曹参回答说。
“什么忙得很，做官还有不办公务的？”
“不是。近日郡里发下朝廷公文，又要调一批民夫到咸阳去服徭役……”
“徭役年年有，按规定征调就是了，这同忙与不忙有何干系？”刘邦打断了曹参的讲话。
“我不是说徭役的征调，是说萧功曹正为物色带队人犯难：合适的人选都已不止一次地去过了，不合适的人选又令人放心不下。你想，当官的谁愿抛家舍业地受那份苦，又要冒些风险……”
刘邦挥手打断了曹参的谈话，他本来就烦闷，想同好友饮酒解烦，说什么公务在身；邀萧何近日前来，又说什么为物色带队人犯难，不由得重添烦闷。曹参见刘邦心情不好，自己又急于赶回县府，便起身而去。
曹参走后，刘邦心想：真是各有各的难处啊！人生在世，何必为这些不值得的……想到这里，刘邦精神不禁为之一振，喜上眉梢。他暗暗自语：带领民夫去咸阳服役算得了什么！出去见见世面，总比一生一世都呆在沛县要强得多吧，何不趁此机会到都城走上一遭。当晚，刘邦主意已定。第二天清晨，刘邦来到县府萧何的寓舍。虽说卯时未到，萧何早已伏案办公。萧何见刘邦大清早就赶到县府，感到有些奇怪，以为出了什么事情，便问道：“亭长清晨光临，有何公干，莫非是出了什么事情？”
“没有什么公干和事情，是来看望看望。”刘邦面带笑容地随便回答。刘邦这种表情和回答使萧何更是一时弄不清是怎么回事，便说：“不对！你大清早就来到县里，必定是有事，是公事！对吗？”
刘邦含笑不语，走近公案，公案上正放着与征调徭役有关的公文。刘邦有意地两眼盯着案上的公文，拖长了声调一字一字地笑着说道：“我哪里有什么公事，是朋友间的私事，我是特意前来为曹大人排忧解难的啊！”
萧何是个聪明人，他见刘邦两眼盯着公文用特殊的语调说什么排忧解难，联想昨晚曹参回到县府转告他的邀请和曹刘之间的对话，顿时明白了刘邦的来意，便笑着说：“亭长莫非是有意……”
萧何没有往下讲去，只是瞧了瞧案上的公文，二人会意，便一同放声哈哈大笑起来。
由刘邦带领民夫去咸阳服徭役，当然是合适的人选，萧何没有什么不放心的。刘邦近些时候心情总是烦闷，也好借此机会出去散散心，见见世面。然而，这毕竟是远离家乡，只身在外，加之责任重大，秦法又严，万一有什么闪失……因此，萧何无论怎样为带队人选犯难，也不能往好友刘邦的头上去想。这次刘邦主动要去，考虑到方方面面的原因，萧何这才勉强地同意他出去一次。萧何不愿在朋友面前说什么担心风险之类的话语，只是向朋友问道：“带队去咸阳的事，同嫂夫人说了没有？她同意吗？”
“说了，说了。她管不了我的事。”
其实，在事情尚未定下来之前，刘邦怎会同夫人讲？他认为这事用不着同女人商量。然而，事情一旦定下来，如何向妻子讲这件事，刘邦又感到有些为难了。妻子比自己小15岁，带领两个年幼的孩子在家顶门过日子，真是太有些难为她了。再说，自从结婚后刘邦从未出过远门。平时总是在一起，天长日久，习以为常，觉得没有什么，可是一旦要经年累月地离开妻子儿女，心里却感到一种从未体验过的难受。早知如此，刘邦说不定不会主动去找萧何要求带队。但是，刘邦也不后悔，大丈夫一言既出，不容反悔。
从县府回家的那天晚上，儿女们睡下后，刘邦心情沉重地向妻子告知带队去咸阳的事。深夜的黑暗之中，刘邦看不到床榻上妻子的表情，也没有听到妻子在暗中啜泣。吕雉很理解和敬重丈夫，丈夫离家远行，她的心情可想而知。然而她近年来察觉到丈夫时常闷闷不乐，自己也不好过问，心想：借此机会让他出去散散心吧，男人怎能总是守在家门口过日子？吕雉在丈夫面前，是个温柔和顺而又多情的妻子，但遇事时她又是个很刚强的女人，这就是《史记·吕太后本纪》所说的“吕后为人刚毅”。因此，在夫妻即将暂时分别之际，吕雉并没有像一般少妇那样在丈夫面前哭泣，而是把痛苦压抑在心中，劝丈夫用不着惦记家里，一路保重，节制饮酒，平平安安地早去早回。妻子的这种态度，使刘邦感到意外和无比的高兴。
时至中秋，吕雉在刘邦行前早已准备好了过冬所需的寒衣。且不说刘邦夫妻儿女相别时的千情百态，只见启程时县府中送别刘邦的场面，昔日那些好友们无不前来饯行。按往常惯例，每位替他饯行的官员都送给他三百钱，资助他旅途上的费用。当时，为官府服劳役抵债，每日的工钱是八钱，三百钱相当于一个劳力一个多月的工钱。只有萧何一个人送给他五百钱，刘邦很受感动，直到他做了皇帝之后，他还惦记着“何独以五”这件往事。
从沛县至咸阳，一路西行，大约有一个月的旅程。深秋季节，田地的庄稼都已收割入场，冬小麦麦苗刚刚破土而出，中原大地之上，远望黄绿相间，近看则一片荒凉。田野上看不到劳作的农夫，只有田边枯黄的杂草，秋风迎面吹来，一派凄凉气氛。
刘邦和他带领的农夫，都是告别了亲人而踏上征程，怀着同样的心情向西方默默无语地行进，哪有什么兴致欣赏旅途上的风光。刘邦感到这一年的深秋很是别扭，往年深秋同妻子女儿在场院打场，喜庆丰收，各户人家都是喜气洋洋的，怎么今年深秋在田野上却见不到人影，一派凄凉？年过40的刘邦，难道不知道此刻农夫不在田野而在场院么？这是因为刘邦在旅途上心情不好。此时，只有此时，他才体会到父母、朋友，特别是妻子儿女在他心中竟占有这么重的分量。
旅途中刘邦很少一个人独自饮酒，他深知自己带领着本县的几百名农夫，责任重大，不能给萧何及家中父母妻子添什么麻烦，让亲人挂念。妻子嘱咐他途中节制饮酒的那句话，他牢牢地记在心中。
刘邦出身于寻常百姓人家，在农村中长大，深知身服徭役的农夫们的疾苦。一路之上，他很关心农夫，有谁害了头痛脑热的，他都亲自问候。临行前同事们送给他的那些旅费，他饮酒是用不尽的，况且他又很少独自饮酒。因此途中不时用自己的旅费买些酒食，让大家一同享用；他自己也喝上几杯，但由于公务在身，朋友们又不在场，他也没有兴致多饮。几百名农夫中有人同他年龄相近，但大多是20岁上下的青年男子，属于晚辈。刘邦农夫的体恤，使得他所带领的几百人对他无限感激和爱戴，没有一个人给他惹出什么麻烦。
刘邦带领民夫从沛县启程西行，一路上凄凄凉凉，心绪不佳，整日寡言少语，似乎自己变成了另外一个人。然而，走过函谷关进入关中秦国故地时，他的心情随着路旁的景观开始振奋，似乎从另外一个世界把自己寻找回来，恢复了自我。被他带领的民夫们看得清楚：队长边走边仰望左侧高耸入云的秦岭，有时又驻步凝视路基之下右侧远方的黄河、渭水，那犹如一条条白色的丝带，一片宁静的气氛同左侧山间的鸟鸣声，恰成相反的映照。
刘邦还是不讲话，他贪婪地望着层出不穷的奇景，仿佛自己走入了另一个世界。观望而无语，刘邦的脑海中在不停的思索：大秦帝国的故土，确是一块形胜宝地，崇山峻岭，巨川大河，形势险要，无怪乎山东六国的联军总是不能越函谷关西行一步，而猛如虎狼的秦军却是从西方居高临下，一举而灭亡六国。这一切，都是刘邦身居沛县时无法体会得到的。
观览景物，思索历史，伴随着西行的步伐。为在限期内赶到咸阳，刘邦怎敢停步发怀古之幽情。作为队长，跟随在他身后的，毕竟是几百名衣装不整、服色不一的农家子弟啊！也正因为如此，停留在他脑海中的景物，总是使他陷入在一片憧憬之中，使得他可以因此而尽情地遐想。
走着走着，远处的山阳水阴之间，露出了帝国皇帝离宫别馆的殿影。秦自建国以来，西起雍都（今陕西凤翔），东至潼关黄河，“东西八百里，离宫别馆相望属”，所谓“关中计宫三百”，说明秦国多年来在渭水两岸所先后建造的庞大宫殿群，堪称数不胜数。风格各异的秦宫，夕阳映照，点缀在青山绿水之间，使刘邦神往而心花怒放。这时，刘邦才知道在家乡时常听老人们所讲述的天宫，其实不是在天上，而是在人间，就在他的视野之内。
秦帝国的离宫别馆，把刘邦引入一个新的世界。此时此刻，什么近年来的烦闷，旅途上的凄凉，父母、朋友、妻子儿女，似乎都成了另一个世界的往事，自己如今同他们已经斩断了一切联系。以往的40多年，不过是逝去的一场梦，而在他所追求的这个新世界里，则只有他刘邦和山间的离宫别馆。
刘邦所带领的民夫，报到地点是咸阳城东南的阿房宫工地，距咸阳尚有几十里的路程。进入工地后，民夫便在监管下投入了紧张而繁重的劳作，刘邦则借着职务上的方便，有机会瞻仰雄伟的咸阳城墙和城楼，游览了城中繁华的街市，特别是有幸目睹了秦始皇的车驾出行。
秦始皇的车驾出行，一般都是戒备森严，禁止老百姓观看。但偶尔也有破例的时候，即允许路旁的百姓观看，借以在平民百姓面前显现他的神威。史书记载中的“纵观”，即是任人观看的意思。刘邦有幸赶上这一盛大场面，当时，警戒线之外，路旁人山人海，刘邦被人流涌至前沿，他叉腿站稳了脚跟，得以观看了皇帝车队在他面前驶过的全部情景：
车队前面的是类似兵车性质的所谓“高车”，每年驾清一色的四匹高头大马。车上笔直地站立着高大魁梧的卫士，手持兵器，身着盔尹，目光直视，威风凛凛。兵车之后是副车，即所谓“安车”。车上椭圆形车盖，车箱分前后二室，外表装饰华丽，前面坐着谦恭谨慎的驾车御官，也是每车驾清一色的四匹高头大马。副车过后是秦始皇帝乘坐的更为豪华壮丽的所谓“金根车”，车上驾六匹清一色的高头大马。金根车过后，又有副车、兵车驶过。整个车队浩浩荡荡地在刘邦眼前驶过，他感到眼花缭乱，也说不上有多少车驾驶过，行进了多少时间。
据文献记载，天子车驾出行，有大驾、法驾、小驾之分，除皇帝乘坐的金根车、五时副车之外，大驾有属车（包括兵车在内）八十一乘，法驾有属车三十六乘，小驾有属车九乘。秦始皇此次车驾出行，不是出函谷关巡行帝国的东土，当然不会配备有八十一乘属车的“大驾”；但他恩准百姓“纵观”，用配备九乘属车的“小驾”又不足以在百姓面前显现皇帝的神威；因而他下令配备有三十六乘属车的“法驾”。由金根车、五时副车、三十六乘属车和仪仗所组成的车队，可谓是浩浩荡荡了。
秦始皇当年所乘坐的车驾，实物当然难以保存至今。但是，1980年秦始陵出土的两驾铜车、铜马、铜俑系精美的仿真制品，大小相当于真车、真马、真人的二分之一，车与系驾的结构完全模拟实物，与真车真马基本上没有差异，现已修复完好，公开向人们展出，使我们有幸从实物上分享刘邦当年所曾享受到的一点眼福。
当秦始皇的车驾从纵观的百姓面前驶过的时候，警戒线随即撤除，人群中顿时随之鼎沸起来。此时刘邦才如梦方醒，望着远去的车队，他情不自禁地感叹道：嗟呼，大丈夫当如此也！
刘邦也并不明白，自己怎么会在大庭广众面前冒出了这样一句犯有杀头大罪的狂言。好在当时离散的观众人声沸腾，周围也没有什么人听全他这句话，但刘邦却对自己一字一字吐出的这句话，他是听得清清楚楚。
司马迁作《史记》时，于《高祖本纪》以凝炼的文笔生动地记载了这则故事：
高祖常徭咸阳，纵观，观秦皇帝，喟然太息曰：“嗟呼，大丈夫当如此也。”
这次纵观皇帝车驾出行，刘邦也有小小的遗憾，即没有看到始皇帝的“龙颜”。秦始皇当时并没拉开车窗（据秦始皇陵出土的副车实物，车的后室前阑的上方，有一帘状掀窗，左右两侧又各开一个推拉式的小窗。三副窗板均镂孔铸成菱花形小孔，闭窗后仍可隐约看到窗外景物的大致状况，但外边却看不见窗内的情况，起到了今日纱窗的作用），他不想让百姓看到他的龙颜，这不仅因为他有时微服私行于街头民间，以保自身的安全，而且还为了不失自己的尊贵；但在有菱花形小孔的窗内，秦始皇可以看到窗外百姓沿途瞻仰他的盛况。刘邦虽然没有目睹秦始皇的龙颜，但他脑海中所想象的皇帝尊容，肯定会比实际要神秘与高大得多，因而对他具有长久的诱惑力。
第二年的秋天，沛县下一批来咸阳服徭役的民夫到达阿房宫工地，刘邦这才带领去年秋天来到这里的民夫启程返回家乡。
家乡毕竟是家乡，亲人毕竟是亲人。这里且不说刘邦同父母、朋友、妻子如何叙一年多来的离别之情，且不说刘邦与萧何、曹参在饮酒间谈及他在关中、咸阳的观感，以及皇帝车驾仪仗和自己的口出狂言之类，而是有必要指出如下的事实：刘邦在关中、咸阳神往离宫别馆和纵观皇帝车驾前前后后的那些日子，他早已把家乡的父母、朋友、妻子儿女忘得一干二净，仿佛自己成了另外一个世界的主人，同往昔断绝了一切。因而，当他回到家乡的亲朋之间、身在温柔之乡却仍对关中、咸阳不能忘怀，时时神往。
刘邦在关中忘却家乡，在家乡又神往关中，这就决定了他在第一次去咸阳之后，又多次隔年带领服徭役的民夫去咸阳，这就是《本纪》所说的“高祖常徭咸阳”。