马歇尔在本宁堡开始从事的一些事情，后来在他当了陆军参谋长后，证明他的这些做法是极有价值的。在担任步校副校长时，他为自己买了本所谓的“我的小黑皮本”，把他认为有才华的年轻军官的姓名记在上面，“供将来参考。”在本宁堡的几年时间里，他记下了不少军官的姓名，当时，他或许没有想到将来有朝一日他会成为美国陆军的头号人物，会真的用上这个“小黑皮本。”但这说明了他珍视人才和注重职业道德。他后来在第二次世界大战中挑选各集团军的指挥官时，就经常查阅这个“黑皮本”。
在1927年底至1938年间，以上尉或少校军阶在本宁堡军校任职或学习的杰出军官，以及在马歇尔手下担任参谋并有出色表现的军官，后来都得到了马歇尔陆军参谋长的提拔重用，其中许多军官在第二次世界大战中成为战功卓著的将军。他们中包括艾森豪威尔、布莱德雷、史迪威、史密斯、柯林斯、李奇微、希尔德林、迪恩等一大批名将，以及其他近200名有才华的将校级军官。在马歇尔的晚年，曾有人问马歇尔，他是否也用他的小本子来记那些他认为庸碌之辈的名字。马歇尔回答说：“本上没有地方记了。”
马歇尔在本宁堡的几年，是他军旅生涯中最重要的阶段之一，对美国陆军的未来同样具有重要意义。他在训练和培养军官方面所作出的贡献，对国家在未来大战中的军事前途与命运有着深远的影响。仅仅几年之后，乔治·马歇尔和他认为有才华的许多军官在第二次世界大战中经受了考验，并赢得了战争，为国家和军队赢得了荣誉，也为军队的长远建设奠定了坚实的基础。
8 重返部队
1932年，马歇尔在本宁堡的任期届满，随后得到了晋升所必需的任职——下部队工作。他被调往佐治亚州斯克利文堡第8步兵团担任中校营长，这意味着他的职务降低了。然而，他很快调整和适应了新职的要求。在斯克利文堡任职期间，他所关注的事仍如以往，不仅是维持全营日常工作的运行，而且注重官兵们的训练与发展。
马歇尔原打算在斯克利文堡完成正常的三年任期，但不到一年时间，他又接到新的任务。连续几年的经济大萧条，造成成千上万的工厂、商店倒闭，数百万人失业。总统决定分区成立由军队为主组成的“民间资源保护团”，马歇尔受命担任F区民间资源保护团的司令（团长）。司令部设在南卡罗来纳州莫尔特里堡，主要负责三个州的地方资源保护队的领导与管理工作，并负责收容与安置大危机时期的广大失业青年。这项工作需要抽调大量的军官去完成，因而，许多军官被派往各州的各营区充当主管官，事实上马歇尔的团部成了一个空架子。没过多久，马歇尔手下的一些军官就对干这一行恼火之至。
当时，一些军官认为，那些失业青年不值得他们去管，为什么非要同那些人打交道？一天，一位少校来见马歇尔，强烈要求退役。马歇尔问他为什么，他说：“我在军队已经干了12年，我是西点军校毕业生，我不愿低人一等，同一伙叫花子打交道。他们全是些半死不活的南方穷鬼。”
马歇尔生气时从不提高嗓门，惟一的变化是他的脸色变得通红。他心平气和地说：“少校，我为你那样想感到难过。不过，我要告诉你，你这种人对我来说走得越早越好。我才高兴你走呢！现在你就给我请！”这件事发生时，他的妻子凯瑟琳正在办公室里工作，开始时她感到吃惊，当她看到那位少校的脸色时，不禁暗自发笑。“他看来大吃一惊，”她说，“他知道我们这里急需要人手，显然，他本以为乔治会央求他留下来。”
马歇尔无论接受什么职务和任务，都能尽快适应情况，努力把工作干好。面对此项特殊工作，尽管他手下的一些军官工作起来不很情愿，但马歇尔的敬业精神和职业表现使他们大受感染。在国家档案馆收藏的资料中，能找到一些论述30年代初期的地方资源保护队经受考验和苦难的报告。当时，乔治·马歇尔中校在南方取得的工作成绩一再受到嘉奖。
多年来，马歇尔一直期望能到正规陆军部队任职，但1933年底，他的这一愿望突然成为泡影。他接到陆军参谋部的命令，要他到芝加哥去报到，担任伊利诺斯州国民警卫队的高级教官。国民警卫部队不是正规的陆军部队，一个正规军官去那里服役，即使到了晋升年限，也在不予考虑之列。马歇尔中校也是人，离开陆军部队使他极度失望。
此后，马歇尔从来没有再谈过这件事，也从未流露出对这项任命的任何怨言，而是像从前一样，很快投入到这项新的工作之中。国民警卫师师长基恩将军观察了马歇尔几个月之后，一次他去华盛顿时，特意去见陆军参谋长麦克阿瑟将军。他说，马歇尔的才华实在出众，不能让他荒废在国民警卫队中。基恩将军甚至建议说，应该提升他为准将，并且给他一个使他有用武之地的职务。麦克阿瑟告诉基恩，他曾考虑过，想让马歇尔担任步兵司令，这个职务可使他升为将军。遗憾的是，这还得等三年才能获得。
1936年，随着陆军部人事的变动，马歇尔的名字才被写进了晋升名单。1936年8月24日陆军部正式批准授予乔治·马歇尔准将军衔。凯瑟琳听到她丈夫获得提升的消息后写道：“在美国陆军中再没有比他更无愧于这一提升的人了，品德和才干终于起了作用。”但是，马歇尔获得准将军衔时已55岁，离他64岁按规定退休只有9年时间。在提升后的几天内，他就接到命令，接任陆军第3师第5步兵旅旅长职务，该旅驻扎在华盛顿州的温哥华。
他上任后不久，部队按计划去刘易斯堡进行夏季训练。这时，禁闭室里还关着70名违反军纪的人，这是一些懒惰、爱闹事的人，有开小差的，还有擅离职守的。由于全旅官兵都要去刘易斯堡参加训练，马歇尔就叫副官把需要留守的人员列一张名单给他。副官照办了，除其他人员外，监督那些被关士兵就需要20人。马歇尔把这20个名字全部删去，只给副官留下两名等待退休的年老军士来看管那70名士兵。
副官很伤脑筋，认为这两名军士不足以对付这样一群调皮捣蛋的家伙。马歇尔则向副官保证说，那些人不会再惹是生非了。部队出发的前一天，马歇尔到禁闭室去，对那些人说了几句话。那位副官说：“他没有多讲，只解释说部队要去演习，他信任他们。效果是令人惊奇的。整整一个夏天，没有一个人逃跑，所有的人都在两名军士的安排与监督下做他们的工作，没有一点麻烦。我认为，他在这种情况下的领导才真是了不起。”
在温哥华兵营，也和他毕生的经历一样，马歇尔作为一位领导人能取得成功，其原因之一在于他听取和处理部下汇报的能力。他很快就能抓住基本要点，而且能清楚地记住每一个细节。一位军官回忆说：“就像我过去坐在他的办公室里一样，我现在可以看到他的身影。他是一位天才思想家，他的办公桌上总是井井有条，双手交叉在胸前，他转过椅子，眼睛似乎迷失在春天那柔软的绿茵之中。他厌恶多余的话、冗长的命令和解释。”
马歇尔在他的部下面前，总是不苟言笑，但是，所有官兵并不把他的沉默看作是障碍，他们并不害怕他。同以往几次一样，马歇尔在温哥华的3年任期同样是突然中止的。1938年2月27日，《纽约时报》刊登了一篇短文：
马歇尔将军奉召赴华府
美联社华盛顿州温哥华2月26日电：温哥华军营司令官乔治·马歇尔准将，奉参谋长马林·克雷格将军电令，今天乘机离开此地前往首都华盛顿报到，以膺特殊使命……
此次奉召去华盛顿，标志着马歇尔将军带兵职务的结束也意味着经过近40年的奋力攀登，如今他已攀临顶峰了。
9攀临顶峰
马歇尔移交了旅长的工作，偕夫人和继女罗斯搬到华盛顿。现在，他已是陆军部作战计划部部长，并兼任陆军参谋长克雷格将军的特别助理。8个月后，克雷格将军又进一步给他升了一级，任命他为陆军副参谋长。
人们很想知道，马歇尔如此快速得到提升，是否与参谋长克雷格有某种特殊关系。事实上，克雷格将军与马歇尔只有过一面之交。那是33年前，马歇尔少尉在那次最艰苦的横穿沙漠之行后，到团部报到，当时听他报告的那位值班上尉就是马林·克雷格。克雷格可能不记得他了，因为当时他被那位皮肤黝黑、衣衫褴褛的少尉吓了一跳，以至于不愿多看他一眼。
马歇尔升任陆军副参谋长的任命公布前两个星期，英国和法国屈从于德、意法西斯的压力，签订了慕尼黑协定，迫使捷克斯洛伐克割让给纳粹大片领土。英国首相张伯伦和法国总理达拉第相信，用牺牲捷克斯洛伐克的办法，就能填满德国独裁者阿道夫·希特勒的欲壑，避免一场战争灾难。但是，捷克斯洛伐克固然是被牺牲掉了，战争却只是被推迟了几日而已。
当马歇尔到陆军部新办公室走马上任时，他感到过去自己一直关注的是部队训练、福利、院校教育和个人前途，而现在他要把国家安危放在首位了。英、法等国在慕尼黑对法西斯采取的绥靖政策，使那些明智的战略观察家们惊骇不已，即使普通百姓也对英、法等国的做法大惑不解。一次民意测验表明，当时43%的美国人相信战争正在来临，美国势必卷入。倘若果真如此的话，美国拿什么去打呢？马歇尔非常清楚，美国陆军总员额不过20万人，武器装备和训练均严重不足，只有海军的状况还差强人意。每年几亿美元的军费，不敷一支20万常备军的吃穿和弹药耗费，更不用说添置新的装备了。在讨论慕尼黑协定签订后的军事形势时，一位参议员宣称，美国现在得花“几百万美元用于军事目的。”马歇尔当即给克雷格将军递了一张条子，说“得有几百亿美元”才成。
美国陆军部那些主张扩军备战的将军们，面临着一种左右为难的局面。第一次世界大战后，由于孤立主义者强烈反对国际联盟提出的共同安全体系，同时也坚决反对美国充实军事力量，因此，战后20年来美国得以享受和平的环境。现在，孤立主义运动的组织者猛烈抨击总统打算支持欧洲国家以战争反对纳粹，而一旦战争爆发，美国的中立地位将受到威胁，美国人民的利益将受到挑战。在这种情况下，总统在政治上采取了更为迎合“民意”的立场，主张欧洲战争由欧洲人自己去打，鼓励英、法等国依靠自己的力量去打败德国法西斯，这样，美国就无须参战了。但将军们必须更多地从军事角度考虑问题。
对美国人来说，总统的立场固然很好，也正合孤立主义者的口味，但最大的问题是英、法等国依靠自己的力量能打败纳粹吗？美国驻欧洲的使节和军事专家写回的报告说，德国军队可以不费吹灰之力把他们打败。英国、法国需要大量枪炮、飞机，不仅希望美国的大工厂能够满足他们的需要，而且希望美国能尽快加入国际联盟共同安全体系，以便联合对付德、意法西斯的战争挑衅。对此，罗斯福总统开始担心，如果战争来临，美国根据1937年的中立法案，将不能向英国和法国提供军火和必要的援助。
1938年11月14日罗斯福总统在内阁成员和军事顾问参加的一次会议上，提出了制造一万架飞机的计划。到会的将军们听到这个计划很高兴，这正是他们所需要的。但马歇尔听到总统的提议后却大吃一惊。总统怎么能只提制造飞机的计划而不同时制订招募这些飞机所需飞行员、机组人员和地勤人员的计划呢？更使马歇尔大惑不解的是，所有与会者似乎都一致同意总统提出的建议，居然没有不同意见。总统讲完后，走到人们中间，最后在马歇尔面前停了下来。总统说，他认为他已为陆军参谋部提出的紧急扩军计划出了大力，并说：“乔治，你看是不是这样？”
马歇尔毫无表情地看着总统回答说：“对不起，总统先生，我完全不同意您的意见。”罗斯福脸上露出一丝惊讶神色。他本想问马歇尔为什么，但又改变了主意，会议就此结束了。会后，其他人默默地看着马歇尔，他们似乎认为马歇尔毁了自己的前程，他在华盛顿的差事就要完蛋了。
经过这次会议，马歇尔开始懂得自己不仅是单纯的军人，现在他多少要懂得一点政治。他其实已经学会迅速发布命令和当场拍板解决一些久拖不决的问题，而且善于抓住复杂问题的实质，并能识别官场上的权术。虽然他现在领会了罗斯福总统那些话的含义，明白了他的真实意图，但他仍然不同意总统的意见，仍然坚持认为，此时此刻的当务之急是要扩建美国陆军和航空兵部队，不要为了供应盟国武器而牺牲美国的军事前途。但他知道，陆军要想增加人员、枪炮和飞机，要是不经过一连串的游说议员、国会听证、讨价还价和讨论报酬等繁琐程序，是绝对办不成的。他必须努力成为掌握这一套本领的行家，但他不一定真的喜欢这种行当。难道这就是他献身陆军所要做的一切？
陆军参谋长马林·克雷格将军的任期将于1939年8月届满，一时间，华盛顿盛传总统正在广泛物色克雷格的接班人。在美国陆军圈子里，几乎没有人认为乔治·马歇尔会有中选的可能，单说一条，他在陆军部工作的时间并不长，在他上头还有21名少将和11名准将，这样，马歇尔要中选就得超过32位将军。但马歇尔也占有几样有利条件，他的品德、才能、经验，特别是在军事战略与谋略方面他不比任何将军逊色；他到陆军部工作时间虽不长，但表现得稳健而出色。
1939年初，他碰上了好运气，作为陆军副参谋长的任务之一，他负责落实总统制造飞机的计划，同时要为陆军增加人员和武器争取更多的拨款。结果，他干得相当不错，并在这项工作中得到负责此项工作的商业部长哈里·霍普金斯的赏识。
此后不久，竞争陆军参谋长职位的幕后活动开始了，各派头目严阵以待，积极活动，全力以赴。马歇尔发现他也有朋友在热心为自己奔走，对此他并不感到高兴，而且反对这么做。他认定在节骨眼上活动议员，只会失去而不是得到总统的好感。他认为别人在这点上做得都过火了，此时他应当默不作声才是。
1939年4月的第一个星期天下午，他被召进白宫。罗斯福总统开门见山地说：“马歇尔将军，我考虑让您担任下一届美国陆军参谋长，您有什么意见？”
“没有，总统先生，”马歇尔回答说，“只有一点我要提醒您，我这个人惯于心里怎么想就怎么说，正如您知道的，这常常令人不快，这样行吗？”
罗斯福微微一笑说：“行！”
1939年4月28日，罗斯福总统通告美国人民，在马林·克雷格将军于8月31日退休之后，陆军参谋长的职务将由乔治·马歇尔准将继任。这样，马歇尔从准将一跃而升为临时四星上将，跳过少将和中将军阶，也越过了比他资深的21位少将和11位准将。当时，他是第二位没进过西点军校而担任陆军参谋长的人。第一位是“哈佛大学的医生”伦纳德·伍德。