纳粹进攻苏联的前两天，当时赫鲁晓夫就在莫斯科。他一直在那里“无所事事”，他回忆说，但是却得不到斯大林的批准回基辅。他想回到自己的工作岗位上去。他看不出留在斯大林身边有什么意义，只是一次又一次长时间的宴会，“我已经开始厌恶这些宴会了”。
“留下来吧，”斯大林仍是坚持：“为什么这么急着回去呢？再留一段时间。”
最后，斯大林终于发了慈悲，赫鲁晓夫于1941年6月21日，星期六的早上回到了基辅。他从火车站直接来到了办公室，直到晚上才回家。大约一个小时后，估计是晚上十点钟，他又被叫回到了**********，在那里一位情报助理给他看了一份文件，文件说德国人有可能在几天甚至是几小时内发起进攻。几乎就在同时，从西乌克兰的捷尔诺波尔传来消息：根据一个德国叛逃者提供的情报，他们的进攻将在第二天清晨三点开始。赫鲁晓夫一晚上都在办公室里呆着。三点钟刚过，第一缕阳光刚刚从东方的天空升起，他就已经得知德国人的进攻开始了。一个小时后，德国人的飞机开始轰炸基辅机场。
赫鲁晓夫知道苏联还没有做好防御的准备。他的老朋友、国防人民委员铁木辛哥刚刚视察过最西部的军事区，发现各个层次上都存在着严重的漏洞。在1940年12月进行的军事演习中，接替铁木辛哥担任基辅军分区司令的朱可夫领导“蓝军”（装扮成德国军队）对“红军”取得了决定性的胜利。即使赫鲁晓夫不了解大多数的军事秘密，但铁木辛哥与朱可夫肯定向他透露过他们的一些担忧。在1941年4月给斯大林的一份报告中，赫鲁晓夫指出修筑“防御工事”的工作进展很缓慢，并提出大约需要10万名工人，以便在1941年6月1日前完成工事的修筑。
尽管如此，赫鲁晓夫仍然对红军取得最后胜利充满信心。6月22日后，苏联人战争准备不足的后果才完全暴露出来。大清洗已经消灭了军官团体，不光是那些元帅与将军，而且所有的军分区司令，90%的军分区参谋长与助理，80%的军、师指挥官以及90%的参谋军官与参谋长都在大清洗中惨遭杀害。与德国人相比，苏联人在某些型号的坦克与飞机方面有着数量上的优势，但全面的国防现代化进行得太迟了，战斗与人员训练都是按照进攻战略来展开的，前线区的部队都集中于脆弱的前线，装甲部队的组织不够有力，对于大规模机动战也没有经验。此外，弹药与物资的战略储备离边境太近。更有甚者，赫鲁晓夫回忆说：“我们极度缺乏步枪与机关枪。……我简直不敢想象我们的准备不足达到了如此之程度。”
斯大林把三番五次的警告都没有放在心上：1941年4月丘吉尔给他发来电报说德国人正在集结军队；5月22日驻德国大使馆发来电报称德国人定于6月15日发起进攻；来自伦敦使馆的消息警告说希特勒的进攻不会迟于“六月中旬”。在战争开始前几小时，斯大林还告诉朱可夫说，冲突“仍然可以通过和平途径来解决”，“我认为希特勒只是想激我们，他肯定还没有下定战争的决心”。[1]
外界的警告越是不祥，斯大林就越不把它们放在心上。这也就是为什么赫鲁晓夫和他的同事们在德国人发起进攻后收到的第一个命令是不许反击的原因。6月22日早上，当时战斗已经打响，他们接到了一道指令，命令苏联飞机不许深入敌方领空超过60-90英里处，在“没有接到特别命令前”，部队不许越过边界。
当天下午，他们收到了斯大林的三号指令，命令部队进行反击，粉碎敌人，挺进敌人控制的领土。但是“我们还不知道敌人进攻的确切方向与强度”，朱可夫对副总参谋长尼古拉·瓦图丁（Nikolai Vatutin）持反对意见，“到明天早上前摸清前线的具体情况，然后再做出必要的决策，那不是更好吗？”
“我想你是对的，”瓦图丁回答说：“但是事情已经决定了。”
几个小时后，朱可夫与赫鲁晓夫来到了捷尔诺波尔；朱可夫已经飞到了基辅，从那里两人乘坐一辆汽车，进行了一次危险的长途跋涉，到达了西乌克兰地区。那天早上，斯大林3点25分就醒了。凌晨政治局委员在克里姆林宫召开了会议。到晚上，已经有大约1200架苏联飞机被摧毁，德国人完全掌握了制空权，同时纳粹军队已经深入苏联领土。尽管战况如此的糟糕，但苏联人又经过了几天才明白了整个事实：西线的苏军遭到了包围或是被击垮，德国军队掌握了完全的行动自由权。只是在西南前线，赫鲁晓夫在那里担任政委，苏军抵抗了一段时间。但是随着德国军队的坦克以每周125英里的速度向东推进，到7月中旬，基辅已经处于德军的威胁之下。
在他们所谓的“伟大的卫国战争”中，有2700万苏联人失去了生命，这一数字简直让人难以想象，其中包括士兵和平民。那些幸存下来的人面临着难以想象的恐惧，恐惧不仅来自纳粹入侵者，而且也来自苏联的秘密警察，他们甚至在战争即将爆发时还在大肆逮捕军官，杀害或是流放所有斯大林不信任的人，将原来的苏联战俘关进监狱或是处决，他们唯一的“罪行”就是曾经被德国人俘虏过。
然而，让人难以理解的是，对于很多幸存下来的人而言，战争年代是他们生命中最好的时光，同时也是最惨烈的岁月。随着时间的推移，他们对于那段岁月的怀旧之情与日俱增。经过如此大规模的清洗“人民的敌人”，他们的国家终于面对着一个真正的敌人。在西乌克兰和其他一些边境地区，普通的苏联人起初将德国军队看成是他们的解放者，表示欢迎，但其他苏联公民都团结起来反对共同的敌人。斯大林将共产主义的理念放到一边，以民族主义，甚至是宗教的名义将俄罗斯人召集起来。人们敢于更为自由地发表言论，希望在战后能过上更加幸福的生活。
在1956年的秘密报告中，赫鲁晓夫讽刺斯大林是在“一个地球仪”上计划复杂的战争行动。事实上，斯大林是位天才的大战略家，也是动员国家进行全面战争的高手，但是在计划与管理大规模的战役行动方面，他并不擅长，而且完全无视军事战术。他决心以尽可能快的速度取得战争的胜利，完全不计损失，因此他实施战争的方式使苏联方面遭受了最大程度的损失。不过经过战争的他比以往更加强大：成为胜利的设计师、国家的象征、半个欧洲的占领者。
这场战争改变了赫鲁晓夫。从6月22日开始，他就一直置身于战争最激烈的地方，跟随红军从基辅撤退到斯大林格勒，后来又回到了他的乌克兰党委书记的岗位上。数以千计的人在他的眼前死去，从在计划不周的战斗中牺牲的普通士兵到在他面前自杀的将军，这些将军们唯一感到有愧的就是未能保卫好他们的国家，实际上是保卫斯大林本人。这就是赫鲁晓夫不仅对不必要的损失感到痛惜，而且努力阻止损失的原因。
赫鲁晓夫在一系列的关键战斗中担任总政治委员（尽管这一称呼在1941年后不再使用）。他所在的军事委员会由前线司令、该地区参谋长以及最高政治军官组成。后者的职权与司令一样，没有他的签署不能发布任何命令。实际上，很多司令想要的只是名义上的平等，他们更希望他们的政委能集中精力于提高士气以及向克里姆林宫游说等工作上，以便获得更多的物资与增援。然而，赫鲁晓夫想拥有在作战问题上的发言权，作为一名中央政治局委员，他做到了这一点。
他成了他的军事同事与莫斯科权力部门之间的中间人。斯大林利用他牢牢控制着战区司令，而他们也利用他影响着斯大林。莫斯科不可能为所有的前线作战部队提供足够的人员与装备。战场上的军队也不可能达到莫斯科所期望的战果。当然，赫鲁晓夫最终是可以向斯大林交代的，但是在斯大林面前，他总是替指挥官们说话。这种地方观念（苏联人的称谓）是赫鲁晓夫在基辅的作风特点。不过他周围的那些将军们却有着他们自己独特的看法：有些人甚至敢在他面前嘀咕，说士兵们不应该为实际上不属于他们的土地流血牺牲。赫鲁晓夫对此当然表示反对，但是他对指挥官们对莫斯科严重战略失误的抱怨却不加干涉。
在赫鲁晓夫所有的政治局同事中，只有日丹诺夫和布尔加宁有过类似政治委员的经历，但他们对此并不擅长。[2]其他的成员在莫斯科很活跃，也很重要，但却不是在战场上。马林科夫为斯大林掌管着党的机构，他到前线视察过几次，特别是到斯大林格勒，但是历史学家德米特里·沃尔科哥诺夫认为：“由于完全缺乏军事能力，因此他在任何军事领域都没有留下什么值得一提的建树。”莫洛托夫是人民国防委员会的副主席，这一机构与最高总指挥部、苏联武装部队总参谋部以及国防人民委员部一道负责监控整个战争情况。贝利亚和伏罗希洛夫以及后来的卡冈诺维奇与尼古拉·沃兹涅先斯基（Nikolai Voznesensky），一位颇具希望的年轻的经济计划者，也是国防委员会的成员，有权力参加最高总指挥部的会议。
赫鲁晓夫很妒嫉他的莫斯科同事，当他们来视察，对前线将士的不忠与渎职指手画脚，命令他和将军们干这干那时，他表现得十分不满。就像斯大林身边的其他人对他们的看法一样，赫鲁晓夫也逐渐看出他们是些无用之辈。“每当我到克里姆林宫去的时候，”前交通人民委员伊凡·科瓦列夫（Ivan Kovalev）说：“莫洛托夫、贝利亚和马林科夫总是在斯大林的办公室里。我过去常常觉得他们很碍事。他们从来不提什么问题，只是坐在那里听着，时不时做点记录。斯大林则忙于发号施令、接听电话、签署文件……那三个人还是继续坐在那里。……”
战争让赫鲁晓夫的精神受到了很大的创伤：他开始抽烟喝酒，在他的回忆录中，战争比几乎其他任何话题都占据了更重的分量，不过他却从来不读其他人在退休后撰写的战争回忆录。但是这场战争也使他的勋章袋子丰满起来。1942年，在莫斯科举行的苏联乌克兰加盟共和国建立25周年的纪念仪式上，赫鲁晓夫在缺席的情况下被颂扬为“抗击敌人的军队里的布尔什维克领导人”。1943年2月12日，他被任命为中将。直到战争结束，甚至在回到基辅继续担任政府职务后，他还穿着军装。1943年，他被授予苏沃罗夫（Suvorov）二级勋章和库图佐夫（Kutuzov）一级勋章。当时的新闻短片表现了他的志得意满：立正站着，面色严肃地站在等待授勋的人群里，上台时脸上露出了得意的神采。
这些勋章反映了赫鲁晓夫在斯大林格勒与库尔斯克保卫战胜利中所发挥的作用。不过在基辅与哈尔科夫使数以十万计的士兵付出无辜生命的灾难中，他也负有一定的责任。虽然在这些胜利与失败中赫鲁晓夫并非主要的决策者，但不管是胜利还是失败都有他的一份。沃尔科哥诺夫对他的评价也许有失公允，他说“作为一个军事决策者，赫鲁晓夫绝对是一文不值”，不过一份解密的1930年的文件预言了他在战争期间及其战争结束后的缺点。他担任政治委员时所在的预备役部队的一位高级军官认为赫鲁晓夫的总体表现是“令人满意的”，特别是他的“战术素养”。他“判断形势与作出决策的方法没有系统性（这里加了着重说明）”。
赫鲁晓夫后来宣称：“在战争期间曾经与斯大林争论过数次。尽管他可能会将我骂得狗血喷头，但我还是顽强地努力说服他接受我的观点。有几次，我达到了目的。”这也许是真的。斯大林曾经对两位战时的谈话者抱怨：“我能告诉你们什么呢？不管我说什么，你们都会回答：‘对，斯大林同志。’‘那当然，斯大林同志。’‘您的决策很明智，斯大林同志。’只有朱可夫有时会和我发生争论。”[3]朱可夫与莫洛托夫确实与斯大林发生过争执，为了赢得斯大林的尊重，赫鲁晓夫很可能也会与斯大林产生如此的争论。但是赫鲁晓夫还是用了大量的时间对他的主人阿谀奉承，他给斯大林呈送了大量的报告，其中情况报告与讨好的成分兼而有之，他还尽可能抓住一切能与斯大林当面接触的机会，并因自己以各种方式得到的斯大林的夸奖而沾沾自喜。
除了和妻子与女儿拉达的偶尔团聚外（她们去莫斯科看望很少从前线回来的赫鲁晓夫），赫鲁晓夫在1941年7月至1943年底从来没有见到过他的其他家人。[4]然而就在此期间，赫鲁晓夫一家经历了三场灾难，这对他的精神肯定产生了影响。尼娜·彼得罗夫娜努力不让这些事情影响她的丈夫，但是这些事情是掩盖不住的，不是因为他们正式通知了赫鲁晓夫，就是因为不管如何掩饰，赫鲁晓夫也能发现他妻子所承受的压力。家人的遭遇肯定更加动摇了赫鲁晓夫的信念，因为这和他自身的不安全感也是相关联的，特别是他儿子列昂尼德的去世。