我认为国务卿的职位，至少在目前情况下是非政治性的，我本人依此行事。我决不卷入政治活动，因此，我不能被看作是任何政治职务的候选人。
一般的观点是，不管一个人怎么说，他总可以被调去充当某一政治职位的候选人。这样的观点对我是用不上的，我决不会被征调去竞选任何政治职位。
我如此明确和强调这一点，是为了一劳永逸地结束把我的名字同政治职位联系起来的议论。
上任伊始，他就明智地解除了一些人对他的猜疑，赢得了人们的好感和赞誉。《美国新闻和世界报道》杂志发行人劳伦斯评论说：“首先，他一辈子都是一名陆军军官，懂得该脱离政治；其次，他比政府中任何人都清楚，要取得战时在他率领下作出最大牺牲的官兵们的信任，最好的办法就是缔造持久的和平……这是一位伟大人物的无私行为，这简单的举动就使美国和世界都受了益。”
1月21日，他宣誓就任新职后，便开始运用他的组织才能使国务院高效地运作起来。除必要的人事变动外，他最先采取的措施是建立国务院政策研究室。以后每谈到这一点，他总是感到很自豪。
他具有长期在高层指挥、决策机构工作的丰富经验，知道如何调动下属机构和人员的积极性和聪明才智。早在1943年指挥工作最繁重的时期，他依靠一些朝气蓬勃的青年军官创办起有声有色的情况汇报会，这对指挥决策极有助益。
情况汇报会每天上午9点准时开始。各种图表都在五分钟前张挂停当，然后，经核准的人员可以进入马歇尔的会议室，观看有关美军参战的各个战区精确的图示。“我逐渐认识到，”马歇尔后来说，“介绍世界战况对我和主要工作人员至关重要。因为我们在如此众多的不同战区作战，而国内形势又随之风云变幻。我们身边就有各种能工巧匠，而且人数众多，这样我们逐渐形成了早汇报的制度，由经过挑选、口才出众的年轻军官在会上介绍情况。他们清晨4点就起床，整理头天夜里的电报，9点前做好汇报准备。会议就像开场演戏一样，他们变得精于此道，把汇报会搞得有声有色，确实引人入胜，整个战争的最新情况一览无余。这种方法在一定程度上使人易于了解战况。”
此时他同样认为，应该有几个人专心致志地研究未来的政策，所以要必须搞一个决策咨询班子。他让副国务卿艾奇逊负责这项工作，并尽快选任几位了解世界不同地区情况、情报灵通、具有洞察力、善于演说和写作的人承担此任。
1970年，国务院组织了一次内部调查，调查小组得出结论说，马歇尔在加强国务院的行政能力方面，比战后的任何一位国务卿做得都多。有关评价如下：
在马歇尔的管理下，政策研究室建立了起来，而且在一个重要时期成为国务院创新思想的中心。“马歇尔计划”以及其他为应付40年代后期的外交挑战而作出的大胆创新，就是在这个室开创并发展起来的。马歇尔采纳了他的研究室的意见，并把这个研究室当做学术研究机关一样尊重它。
马歇尔在国务院任职内的第一项挑战，是3月将在莫斯科举行的外长会议。该会议先后在莫斯科、伦敦、巴黎和纽约召开过，如今他要同英、法和苏联代表在对德和约、对奥地利和约以及附带政治经济等问题上寻求协议。涉及到的国家不止一个，问题错综复杂，关键是东欧一些国家的政治经济走向，核心是德国问题。
马歇尔了解到的情况是，苏联想在战败后的德国建立一个受其控制的中央政府，而不是难以控制的联邦政府。他知道，纳粹曾蹂躏过苏联，因此，苏联对德国不会放过，问题的关键在于美国对此应持何立场和观点，而与此相关的是英国人对此采取什么态度。
第二次世界大战后期，丘吉尔曾强烈要求派军队开进巴尔干地区，抢在苏联人之前到达那里，由于美国反对，使英国人的战略成为泡影。如今，战后英国极度贫困，对维护东欧和地中海地区的利益感到力不从心。在希腊、保加利亚、南斯拉夫和匈牙利，苏联支持的势力正在扩大，那里的经济已相当困难，人民正在忍饥挨饿，面临内战的威胁和困扰。英国却无能为力，正准备从希腊和土耳其撤军。
对此，美国国会展开讨论，杜鲁门主张，美国必须提出4亿美元来援助希腊、土耳其等巴尔干国家，并在世界各地坚决抵抗少数游击武装和外来势力的扩张。这是一种强硬的和对抗性的外交政策，以后被称为“杜鲁门主义。”
由马歇尔率领的美国代表团于3月9日到达莫斯科。成员包括驻德美军司令卢修斯·克莱将军，马歇尔的老下级、现驻奥地利军事长官马克·克拉克将军，美驻苏大使比德尔·史密斯将军，律师兼政治家墨菲，德国和苏联问题专家奇普·波伦，国务院苏联问题顾问本·科恩，以及共和党指派的两位会议观察员、纽约律师福斯特·杜勒斯。
会议开始后，西方各代表团的大多数成员很快就看明白了，苏联想要的并不只是对德、奥两国进行报复，而且要求把能从战败国家带走的资产席卷而去，作为对他们的赔偿。马歇尔倾向于同意苏联在德国问题上的一切要求。
但是，在讨论奥地利问题时，克拉克就寸步不让了。他诉说了苏联人怎样把价值数百万美元的奥地利资产运走，然后任凭它们在苏联边境的铁路支线上生锈。他为奥地利人民呼吁，要求允许他们享有重新开办工厂的权利，不要等他们一修复就被苏联人抢走。
然而，最使克拉克感到担忧的是国务院对苏联一味姑息、忍让，指望通过让步来达成协议，只要所有与会国家都在上面签字，不管什么样的协议都行。
“最后，我们谈到了赔款，”克拉克指的是苏联要求从奥地利拿走他们想要的一切东西。“这是全部问题的关键所在。如果这个问题得到了解决，其他问题就会迎刃而解。苏联人在这个问题上绝不会通情达理，绝不肯让步。”
在开会讨论奥地利问题的那天上午，美国代表团碰了一下头，商议对策。克拉克说，他草拟了一份协议立场书，并说服英、法代表在上面签了字。说完，他把这份文件交给了马歇尔。
“马歇尔将军，”他说，“今天就要讨论赔款问题了，这是美、英、法三国最后达成的一致意见，是我们作出让步的最后限度了，绝不能再让了。”
马歇尔把文件给每个人参阅，然后征求每个人的意见。大家都认为文件措辞过于强硬，苏联人不会同意。克拉克急忙说：“马歇尔将军，我可以谈谈我的看法吗？”
“我们已经知道你的看法了，”马歇尔厉声回答。
“那就让我再说一遍好了，”克拉克说，“我本不想到这里来，我在维也纳已经同这些恶棍打了两年交道了。您绝不能再退让，否则，就会把我们为之奋斗、成千上万的人为之献身的东西全部断送。”
马歇尔站起身来说：“过些时候我再作决定。”
“您必须现在就打定主意，”克拉克坚持说，“因为下午两点钟就要开会，我必须根据您的明确意见进行准备，这需要一定的时间。这是最后一次发言，因此措辞必须慎重。您的发言将使这次会议收场了事的。”
大家望着马歇尔，马歇尔望着克拉克。
“克拉克，”马歇尔说，“就完全按照你的想法准备吧，写好后送到我房间来。”
下午，马歇尔带着克拉克准备好的意见书出席会议。
“会谈的言辞比以往任何一次都更加尖锐，”克拉克后来说道，“莫洛托夫（苏联外长）发言时，我、科恩和杜勒斯都忙着给马歇尔递条子。将近7点了，莫洛托夫的发言越来越令人讨厌了。”
克拉克写了最后一张条子：“现在是不是该念咱们的意见书了，也许这样能结束会谈。”
马歇尔找出克拉克起草的文件，念了起来。过了一会儿，莫洛托夫站起身，用冷淡、刻薄的语调提议休会。
从此以后，美苏在长达15年时间里再没有举行过会谈。然而，这次会谈却挽救了奥地利。
“如果我们对苏联人的要求让步”，克拉克说：“奥地利就会垮了，苏联就可以随心所欲地毁坏、肢解和搜刮这个国家。但是，国务卿却因为会谈失败而大失所望。”
马歇尔和克拉克一起乘车返回美国大使馆。国务卿对克拉克说，“我认为你是个出色的将军，但作为一个外交家，我觉得你还不够成熟。”鉴于此次会议期间克拉克的言谈举止欠冷静，回国后又向新闻界发表“出格”的讲话，于是，马歇尔把他调出外交系统。结果，克拉克又回到陆军参谋长艾森豪威尔的麾下。
6复兴欧洲
最初几个月，大家发现马歇尔当国务卿是在边摸索边工作，由于不熟悉外交，过于相信政界人士的许诺，有时难免有误。他为此受到一些批评。但正如有人所说，“他对那些指责泰然自若，从不为此伤脑筋。”
杜鲁门对一些政客们指责新任国务卿一概置之不理。“他是第二次世界大战中的军界要人”，杜鲁门说，“他还将成为今后十年中最重要的国务卿。他品格坚强，善于组织，慧眼识人，而且为人谦和，平易近人，深受人们信赖。”他后来又说：“人们不仅认为他敢讲真话，实际上他的确在给他们讲真话。我当总统时，他总是对我推心置腹。”
杜鲁门认为，这些都是马歇尔独具的品德，他非常信任的人不多，马歇尔却是其中之一。“将军，”有一次杜鲁门对马歇尔说，“如果您觉得有必要做某件事，而且需要马上动手的话，您尽管去办就是，不用等我或者国会批准，事后由我去向议员们解释。”
正因如此，“马歇尔计划”于1947年夏天提出时，总统和世界上所有的人一样无不感到意外。
马歇尔上任伊始，就要求助手艾奇逊在任何情况下都要开诚布公，直言不讳，必要时甚至可以不顾情面，不必担心伤害上司的感情。他还说，“除了马歇尔夫人的感情不能伤害外，”别的感情都无所谓。
马歇尔并非没有感情，只是他尽量不让感情外露，不轻易流露激动神色，除非是为取得某种效果。然而，他却是个富有人情味、同情心和通情达理的人。在他任国务卿的第一年里，艾奇逊很快觉察到，马歇尔深为来自欧洲的报告怦然心动。从英国、法国、德国、北欧国家以及东欧各国那些饱受战祸的城镇，频频传来人们饥寒交迫、受苦受难的消息。如不迅速采取措施，这些国家和地区将会再次遭受一场可怕的灾难。
1947年4月28日，马歇尔心情忧郁地从莫斯科回到华盛顿。此次会谈不欢而散使他感到沮丧，欧洲面临的可怕前景使他焦虑不安。他深信，在已结束的这场大战中，美国是惟一没有伤元气的交战国，只有美国迅速行动起来，才能扭转欧洲的局面。他细心阅读了一大堆令人头痛的文件，然后通过电台向全国发表讲话：“欧洲人民正在受苦受难，迫切需要帮助，需要煤、食物和其他生活必需品。”他提醒美国人民：“医生们不紧不慌，可是病人已生命垂危。”他呼吁全国紧急行动起来，立即对欧洲进行援助。
此前，他已把国务院的官员们组织起来，抓紧制订一项援助欧洲的计划。他让艾奇逊和政策研究室主任凯南全权负责此项工作。
4月24日，凯南曾向各类专家征集意见，请他们谈当前英国、法国、意大利以及德国和奥地利的西方占领区的经济趋势，以及若这些国家在自给自足方面没有采取什么措施，他们将需要什么来维持生存。5月15日，政策研究室召开会议，到会人士一致同意必须用美国的经济力量去支援欧洲支离破碎的经济。
凯南的基本观点是“美国援助欧洲的工作不应该是直接同现存的共产主义斗争，而应该是恢复欧洲的经济健康和社会活力。”他使用了“马歇尔计划”演说中的一段几乎同样的语句写道：“正式的倡议必须来自欧洲，计划必须由欧洲形成，欧洲人必须为此承担主要责任。美国的作用是在欧洲的请求下友好地协助起草一项复兴计划，然后用财政或其他手段支持此项计划。”
显而易见，无论在性质上，还是在手段上，“马歇尔计划”与“杜鲁门主义”迥然不同。然而，问题的关键在于，总统和国会是否能同意这项经济援助计划。一个民主党议员代表团得知政府正在炮制该项计划的风闻，便通过艾奇逊警告国务卿和总统：假如政府打算造成既成事实，他们就拒绝拨款或贷款。
国务院人士认为，这项计划将得到全国民众的支持，但如何在不使总统和国会为难的情况下推行此项计划呢？办法只有一个，就是先让总统和国会蒙在鼓里，时机一到，便向国会和总统突然亮出计划。
1947年6月5日，哈佛大学要授予马歇尔名誉学位。国务卿征求艾奇逊的意见：在这种场合提出援助欧洲计划是否妥当？艾奇逊摇头表示：人们在授学位典礼上可没心思听演讲。马歇尔不说什么，只是让艾奇逊把计划草案拿来。艾奇逊告诉他，草案还没有写完。马歇尔吩咐他尽管拿来就是。
艾奇逊以为马歇尔跟总统商量过讲演的事，其实，马歇尔对所有的人都守口如瓶。
授学位仪式结束了，马歇尔被誉为“杰出的军人和政治家，美国历史上只有一个人（乔治·华盛顿）的才能和品质能与他相比。”马歇尔起身开始讲话了。他先向听众们描述了欧洲面临的困境，然后指出，美国必须挺身而出，把欧洲盟友从危难中解救出来。接着，他阐了这种援助的性质：
我们的政策不是反对哪个国家或哪种主义，而是反对饥饿、贫穷、绝望和混乱。我们的政策目的在于恢复世界范围内的正常经济秩序，从而提供一个自由制度得以存在的政治社会环境。
我认为，绝不能随着各种危机的产生，零零散散地提供援助。美国提供的援助不应仅仅治标，而且要能治本。
我敢肯定，任何一个愿意加入这一复兴事业的国家，都将得到美国政府的全力合作。任何企图阻碍别国复兴的政府，都不会得到我们的帮助。此外，任何政府、政党和集团，若想让人类的苦难继续下去，想从政治上或其他方面捞取好处，必将遭到美国的反对。
然后，他简明扼要地谈了计划的要点，即如何缓和欧洲当前的灾难。他毕生尊奉的信念是：人必自助，尔后他助。他说：
显而易见，在美国作出进一步努力以缓解欧洲局势、帮助欧洲走上复兴道路之前，欧洲各国必须就形势的需要和他们自己的职责达成一致意见，以使美国政府所采取的任何可能的行动收到适当的效果。如果由美国政府单方面制订欧洲复兴计划，那既不妥当，也不会奏效。
这是欧洲人自己的事。我认为，欧洲必须首先创议。这应当是一次联合行动，应该得到欧洲多数国家（如果不是所有的国家）的一致赞同。美国的任务在于提供友好援助、制订援欧计划并在力所能及的范围内支持欧洲复兴计划。
这就是“马歇尔计划。”所有听众起立热烈鼓掌，但与其说是对他的精彩演讲鼓掌，还不如说是为他昔日的赫赫战功和他为人处世之道而鼓掌。