1938年，小矶国昭退役，先后任平沼内阁和米内内阁的拓务大臣，1942年出任朝鲜总督。1944年7月东条英机内阁下台，小矶国昭组阁出任首相。这时，日本在战争中已经处于劣势，但是，担任首相的小矶国昭不甘心日本军国主义的失败，认为“还不能断定最后一战无获胜的希望”，继续推行战争政策。
战局的发展并未如其所愿，战争几乎消耗了日本所有国力，不仅生产武器的物质资源枯竭，而且兵源也已耗尽。日本已经没有任何取得战争胜利的可能了。在这样的情况下，小矶国昭幻想日军打一次胜仗后，“抓住时机进行和平停战谈判”。
为了挽救战局，小矶国昭还着意加强内阁与统帅部的联系，设置了以首相、陆首、海相、参谋总长、军令部总长、外相等组成的“最高战争指导会议”，代替原来的大本营、政府联席会议，目的是为了使内阁与军部协调，以利对战争的指导。
8月9日，在天皇亲自参加的最高战争指导会议上，小矶国昭内阁提出指导战争的基本方针是：“（一）彻底集结现有战力和国力以击败敌人；（二）完成战争；（三）实施彻底的对外政策，促使世界战局的好转。”在此战争方针指导下，小矶国昭寄希望于在菲律宾发起的代号为“天王山”的决战。然而，由于日军在菲律宾海战和台湾海域空战中不断遭到打击，“天王山”决战并未实现。
军事上的失败促使小矶国昭开始考虑用外交方式收拾战争残局。1945年2月，小矶国昭征求了外相重光葵的意见，并与陆、海两相协商后，决定召伪南京政府的缪斌到东京，企图通过缪斌与重庆国民政府取得联系，继而由重庆国民政府和苏联调解，结束战争。3月，小矶国昭在东京会见了缪斌，但这项工作没有取得任何成效。4月，苏联通知日本，不延长“苏日中立条约”。军事上的失败与外交上的受挫，迫使小矶国昭内阁下台。这时，离日本的彻底失败已经为期不远了。
战后，小矶国昭作为甲级战犯，被远东国际军事法庭判处无期徒刑。1950年11月3日，这名因侵略战争而升迁的日本陆军大将和前内阁首相，因病死于日本东京巢鸭监狱。