在萧何的策划下，刘邦在沛县成功起兵，并自称“沛公”，举起了反秦大旗。萧何也被刘邦委以重任，一方面他是刘邦的主要参谋人员；另一方面，他又以丞相身份督办事务，负责刘邦的后勤工作，诸如兵员的征发、武器的购买和筹备，以及军队所需的柴米油盐、被服、药品、立功将士的功劳登记和封赏、阵亡将士家庭的抚恤，他都要过问，有的还得他亲自经手，整个成了一个大忙人。
知识分子虽然不是造反的材料，但是造反的人离开了知识分子往往吃不开。就像后来的水泊梁山一样，晁盖、宋江才是造反的料，但是如果没有吴用、萧让这些书生，他们肯定玩不转。刘邦也是如此，他离不开萧何。萧何从小接受过良好的教育，精通法律，此时的刘邦还没有张良这样的人做他的高参，没有韩信这样的人为他统兵御将，所以，军规的制定、人事的安排（幸好萧何在沛县时搞过人事工作）、重要文书的起草，都需要萧何负责。正因为有了萧何这样的内勤兼外勤于一身的好帮手，一直习惯于抓大放小的刘邦才能全身心投入反秦以及与群雄逐鹿的斗争中。
刘邦起事时，力量并不大，在反秦势力中是个并不起眼的角色。他要想做大做强，必须要找到自己的靠山，拉大旗作虎皮，借鸡下蛋。他先投靠志大才疏的景驹，不过在群雄并起的乱世，像景驹这样的人根本禁不起乱世的考验，他很快就被项梁打败。景驹灭亡后，刘邦投靠了项梁，并常常与项梁的侄子项羽并肩作战，成为项家军的别派。
投奔项梁是刘邦的事业转折点，由于他拥有自己的人马和一帮善于冲锋陷阵的难兄难弟，渐渐地，他成了项梁手下的一名要将，在整个楚军集团也有一定的知名度。这也是项梁死后，怀王和宋义有意要扶持刘邦的一个重要原因。
项梁在定陶战败身亡后，怀王把兵权收归自己，一面让宋义接替项梁，一面提高刘邦的地位，借此分化项家军，打击项羽的势力。这时，秦将章邯率部攻打赵国，将赵王歇和丞相张耳等人围困在巨鹿城，赵王数度遣使向怀王求救。此时的怀王已经重新部署了反秦大计，决定兵分两路攻打秦军。一路以宋义为上将、项羽为次将、范增为末将，率领楚军主力北上救赵，然后联合诸侯军队西进攻打咸阳；一路让刘邦率领本部人马，直接向西攻州略郡，威逼咸阳，两路大军在战略上互相配合。出发前，怀王与诸将相约，先入关破秦平定关中的，封他为关中王。
北上救赵的那支军队在途中发生了兵变，项羽和范增密谋杀掉了宋义，由项羽取代了宋义的军事指挥权，架空了怀王。项羽随后领兵北上救赵，与秦军主力鏖战，战况非常激烈，当然也打出了项羽天下无敌的威名。
而刘邦率领的西征军趁秦军主力与项羽血战之际，趁势向西挺进。由于他所遇到的抵抗力量相对较弱，再加上有张良相助，他及时采取了优待降将的招降策略，所以进展非常迅速，至公元前207年10月进抵咸阳。刘邦原本以为历代秦王都以尚武著称，子婴也不会例外，要想进入咸阳，势必会有一番血战。但是令他想不到的是，秦王子婴诱杀赵高后居然放弃了抵抗，打开城门向他投降了。于是，刘邦兵不血刃地占领了咸阳，传檄而定关中。
咸阳是历代秦王经营了数百年的都城，秦始皇剪灭六国后，又将天下珍宝运往咸阳，咸阳的富丽堂皇天下无双。刘邦的军队进入成阳后，和他一起在沛县起兵的那些土老帽儿哪里见过这样的繁华都市，看见堆积如山的金银财宝、美如天仙的宫娥妃嫔、青楼妓女，哪里抵挡得住这样的诱惑。于是，想发财的，吵着要分金银的，贪好女色的便躲入歌楼妓馆。那个刘邦更是无赖，进入阿房宫就不想出来，拥着后宫佳丽要快活一番，忘记了自己来咸阳是干什么的。
但是有三个人是比较清醒的，一个是萧何，一个是张良，还有就是那个勇敢不怕死，又非常讲义气的樊哙。樊哙说话比较直，直接批评刘邦说：“您到底是想夺取天下，还是想在这里当个富翁？依我看这些奢华的东西正是秦朝之所以灭亡的祸根。希望您赶快回军霸上，不要在秦宫逗留。”不过，看着秦宫里金碧辉煌的陈设和那如花似玉的三千佳丽，刘邦哪里听得进樊哙的这些话，甚至还嫌这小子多事。直到张良出面劝说，刘邦才依依不舍地离开了秦宫，并下令将宫室府库一一查封，任何人不得私吞，违者按军法从事。随后，刘邦率军回到霸上，与关中父老“约法三章”，很快赢得了关中父老的人心。
在这期间，最忙的一个人要数萧何。他要负责封查府库，清查户口，登记造册，因为按照怀王与诸将的约定，谁先进入关中，就封谁为关中王。如今刘邦比天下诸侯先进入咸阳，而且秦王子婴也捧着玉玺向他投降，关中王当然应该由他来当。刘邦下一步面临的首要问题就是如何治理好关中，但要治理好关中，必须弄清楚关中的地理、人口、物产、田宅、府库里的钱粮，而这一切都是他这个后勤部长的工作，所以，在大家都在满脑子想金银、美女、豪宅的时候，他又成了一个活脱脱的大忙人。这还不算，萧何在大家都想快活逍遥的时候，还为刘邦做了一件非常重要的事，那就是收集整理秦丞相府和御史府中的律令图书，这些律令图书堪称国家文献的精华，这其中涉及到很多军国大事的秘密，不仅有秦朝所有的法律文件，还有天下郡县、山川、险塞、粮油产地、人口等分布图，更有详实的军用作战地图……这些文献资料对于后来刘邦与项羽争夺天下，以及对汉朝开国后的各项制度的制定，都起了非常重要的作用。这是萧何为刘邦立下的一大功劳。而稍后那个只知道靠武力征服天下的项羽在进入咸阳后，却做了一件愚不可及的蠢事，他不仅放火焚烧咸阳城，而且把秦宫里的皇家藏书付之一炬，这一把火烧得比秦始皇的“焚书坑儒”还可恶。秦始皇焚烧诸子百家的书，其目的是为了推行愚民政策，不让这些书流传在民间，但并不是要彻底销毁这些书。虽然他不想让天下老百姓读书，但并不反对自己的子孙读书，相反他希望他的子孙们都能出入诸子百家，博览群书，这样才能使他这个帝王家族成为全天下最优秀的一族，所以，很多书尽管民间没有了，但他在皇宫里还分别保留了若干套，他的“焚书”从很大程度上讲其实是“禁书”。而项羽则不一样，他从小就不爱读书，根本不知道书籍的重要性，更可恶的是他放的那把火将皇室的藏书付之一炬，致使那些在民间已经被搜缴一光的很多书从此成了绝版。汉初，儒家的很多著作都要靠当时的老儒们口诵笔录，然后才流传于世，就是很好的明证。但口诵笔录的东西与原著的误差是在所难免的，甚至不排除口诵者故意删改原著的可能，汉代的今古文经学之争就很好地说明了这一点。而导致这一切的罪魁祸首就是项羽。
一句话，进入咸阳后的萧何不但始终保持了清醒的头脑，而且在搜集整理秦丞相府和御史府中的图册方面，功莫大焉。楚汉战争爆发后，刘邦之所以能够详尽地了解天下各地的要塞、户口的多少、财力物力的强弱分布、百姓的疾苦、各诸侯国的军事实力以及军队的战斗力，就是因为萧何得到了秦朝丞相府和御史府中的全部文书图册和档案资料，而这一切正是军国大事决策时所必需的参考资料。
由此可见，萧何这个后勤部长真的是当到了家。