通信联络中断，莫斯科几乎失去了同各军区之间的联络。斯大林和他的统帅部并不知道，在战争第一天，苏军共损失了1200多架飞机，大部分飞机是被德军炸毁在机场上的。德军掌握了制空权并从宽约1500公里的广大地区向苏联发起正面进攻。德国的坦克部队和摩托化步兵师潮水般冲向苏联各边防要塞和城市。苏军在边境地区的军用仓库、武器弹药及其他军需物资，几乎全部落入德军手中，苏军官兵虽然奋力反击，但无法阻挡德军的快速推进。在战争的头几天，苏联西部边境各条战线都是乱糟糟的，有时简直是一片混乱。统帅部不断发出新的指示和命令，但这些指示和命令又都落后于急速变化的形势。在战争的头五六天里德军就深入了苏联国土150～200公里。
斯大林心情沮丧，甚至有些慌乱，但他很快从消沉的情绪中摆脱出来，振作起来，重新负起他身上的重任。为了摸清前线情况，他命令大本营的朱可夫大将到西南方面军、沙波升尼科和库利克元帅到西方方面军。
6月28日，德军在明斯克完成合围，苏军43个师又3个旅被围歼于明斯克，傍晚，白俄罗斯首府明斯克失守。斯大林沉痛地说：“列宁亲手缔造了我们的国家，而我们大家却把它误了！”
为了战争的需要，斯大林亲自兼任了国防人民委员，稍后，又亲自担任苏联武装部队最高统帅。斯大林集党、政、军大权一身，这在战争时期是必要的。斯大林命令将工业向东转移，根据这个命令，1500多个企业其中包括1300多个庞大军工厂，向后方疏散。这些工厂很快就完成迁移，并又很快地恢复生产，这为以后的战争胜利打下了深厚的物质基础。
德军攻破了列宁格勒以东20公里的筑垒区。9月8日，攻占了拉多加湖畔的计利湖利堡。列宁格勒被德军包围，列宁格勒居民开始了近500天的保卫战。
在西南方向，德军的南方集团军群从利沃夫出发，直逼乌克兰首都基辅。朱可夫紧急求见斯大林，向斯大林汇报总参谋部的作战方案，建议加强中央方面军，建议把西南方面军撤到第聂伯河以东。斯大林问道：“基辅怎么办？”朱可夫坚持己见：“基辅不得不放弃。”斯大林发火了，他高声说道：“把基辅交给敌人，亏你想得出来。”朱可夫委屈地回答说：如果你认为我这个参谋长只会胡说八道，那么还要我干什么。我请求解除我的总参谋长职务，把我派到前线去，我在那里可能对祖国更有好处一些。”
“请你冷静些，”斯大林说：“再说……如果你这样提出问题，那么我们缺了你也能行……你去工作吧，我们一会儿叫你来。”大约半小时后，朱可夫被召去。斯大林说：“我们商量了一下，决定解除你的总参谋长职务，由沙波什尼科夫接任。他的身体确实不太好，但没有关系，我们可以帮助他。”
斯大林接着问朱可夫，愿意上哪，并同意由他来指挥他所提议的对叶尔尼亚突击部的反突击。
朱可夫要求离去时，斯大林微笑地请他一起坐下喝茶。他珍惜朱可夫的帅才，尽可能消除他的情绪，斯大林提醒他，他仍然是副国防人民委员和最高统帅部的成员。
在整个二战期间，朱可夫是斯大林最得力的助手之一。他被频繁地调来调去，他指挥了莫斯科保卫战，列宁格勒反击战……他为祖国立下了大功。二战中，他成了最声名卓著的苏联元帅。
朱可夫的计划是正确的，但斯大林没有采纳他的建议。斯大林打电话给西南方面军司令员基尔波诺斯，要他不惜一切守住基辅。经过一个多月的苦战，基辅还是陷落了。基尔波诺斯战死沙场，苏军被围歼60～70万人。
战场上的胜利鼓舞了希特勒，他集中优势兵力准备在入冬前占领莫斯科。在莫斯科前沿的苏联西方方面军、预备队方面军、布良斯克方面军和加里宁方面军英勇奋战。到10月6日还是被围困在维亚泽马地区。经过几次突围均告失败。10月10日，60万苏军在维亚泽马覆没。13日，德军已挺进到离莫斯科不到100公里的地区，莫斯科面临现实的威胁。斯大林命令立即撤退主要的社会活动家和国务活动家。政府迁往古比雪夫，各大企业一律布雷，但他仍希望会有良好的结局，因为西伯利亚和远东的援军已经登车。
敌人的逼近和大规模的撤离一度在市民中引起恐慌，关于斯大林和政治局已经离开莫斯科的谣言也流传开来。10月17日，中央委员会书记向全国广播说，斯大林本人就在莫斯科，他严厉地斥责了要放弃莫斯科的谣言。斯大林留在莫斯科的消息鼓舞了人民。“绝不放弃莫斯科”，“我们无路可退了”成了对每个苏联人的崇高的爱国主义的命令。秩序很快得到恢复，街头呈现出沉着坚定的气氛。首都准备战斗到底。
德国士兵择路通过斯大林格勒一家被炮火击毁的涡轮厂。贝利亚曾向斯大林报告说，在莫斯科近郊某车站已为他准备好一辆专列，还有大本营的4架飞机也已经准备就绪，其中有1架是斯大林的专机“道格拉斯”。斯大林一言不发，他深知，只要军队、人民知道斯大林在莫斯科，就会给他们增添信心，他决心留在莫斯科直到最后一人。
1941年11月6日是十月革命纪念日，庆祝活动安排在地下铁道的马雅可夫斯基车站举行，斯大林在会上发表了讲话并立即广播发表。在首都岌岌可危的时候，斯大林的演讲具有不同寻常的意义。
斯大林说：在反法西斯战争中，苏联并不孤立。英国和美国已表示支持。……问题在于，现在欧洲大陆上没有任何一支同德国法西斯军队作战的英国或美国的军队。因此德国人不必分散自己的力量，不必在东西两个战场上作战。
他用充满激愤的语调说：“这一群丧尽天良、毫无人格、充满兽性的人，恬不知耻地号召消灭伟大的俄罗斯民族，消灭普列汉诺夫和列宁、别林斯基和车尔尼雪夫斯基、普希金和托尔斯泰……苏利科夫和库图佐夫的民族！德国侵略者想对苏联各族人民进行歼灭战。好吧，既然德国人想进行歼灭战，他们就一定会得到歼灭战！今后我们的任务就是把侵入我们祖国领土的所有德国人——占领者一个不剩地歼灭掉……”
在这些关键的日子，斯大林非常重视从精神上鼓舞苏联人民必胜的信心。他决定第二天照常举行传统的阅兵式。
11月7日，斯大林在红场检阅了部队，听他演讲的部队随即开赴前线。斯大林在讲话中最后号召：“你们进行的战争是解放战争，正义的战争！让我们伟大的先辈英勇的形象在这次战争中鼓舞着你们！让伟大的列宁的胜利旗帜引导你们！消灭德国占领者！我们光荣的祖国，我们祖国的自由，我们祖国的独立万岁！在列宁的旗帜下向胜利前进！”
斯大林在11月6日和7日的两次讲话的文本迅速在军队和人民中散发。每个苏联人都如饥似渴地阅读了斯大林的讲话。这些讲话极大地振奋了军队和老百姓的士气，它表达了他们对自己祖国的热爱和对残暴、狂妄的敌人的仇恨，同时也产生了重大的国际影响。
11月15日，德军再次向莫斯科发动攻击。德军不顾一切，不惜一切代价，用坦克在前头开路，妄图冲进莫斯科。德军的先头部队已冲到离莫斯科20公里远的地方，指挥官用望远镜已能看到克里姆林宫顶端的红星了。斯大林打电话给朱可夫：“你坚信我们能够守住莫斯科吗？我怀着内心的痛苦在问你这个问题，希望你作为共产党员诚实地回答。”
“毫无疑问，我们能够守住莫斯科。但是至少还需要增加2个集团军和200辆坦克。”朱可夫答道。
“你能有这样的信心，这不错。你打电话到总参谋部去接洽一下，看把你所要的2个预备队集团军集中到哪里。他们在11月底将准备好，但是坦克现在还不能给。”
苏军的顽强抵抗迫使德军未能再前进一步。德国的进攻也就慢慢停了下来。敌人一停下来，斯大林、朱可夫和铁木辛哥就立即计划冬季的反攻。
11月30日铁木辛哥发起了进攻并收复了罗斯托夫，他准备进攻德国中央集团军的侧翼，斯大林表示同意。
12月5日、6日，加里宁方面军、西方方面军、西南方面军相继转入进攻，并取得了惊人的成功。把德军向西击退了150公里，解除了对莫斯科的包围。希特勒遭受了第二次世界大战以来的第一次大失败。