山本五十六从日本海军大学毕业后，在海军省军务局就职。1919年他被派往美国留学研修，进一步深造。
1921年，山本五十六结束了在美国的研修生活，回到日本。最初山本被任命为军舰“北上”舰的副舰长，到中国沿海一带活动，后被任命为海军大学教官，教授军政学。
在海军大学担任教官的一年多时间里，山本五十六得以摆脱艰苦的海上生活，消化美国之行的收获。但海军当局给他的时间并不多。1923年7月，他又奉命考察华盛顿会议后的欧美现状，踏上旅欧之途。参察完欧洲之后，山本五十六又来到美国，考察美国海军军备情况，并视察了日本投资经营的奥伦治油田。回国后，他曾大力游说日本石油公司向美国进军开发油田。作为一名校级军官，长期的海外生活，拓展了他的生活和视野，使他更加关注世界军事技术的每一项，并使他最终走上为之献身的军事航空事业。
1934年9月7日，山本五十六被任命为伦敦海军裁军会议预备会议日本方面的海军首席代表。山本五十六的伦敦之行，不过是日本统治集团利用“顽强的山本”，对英美实行愚弄和欺骗而已，因为他们期望山本既能使日本达到废除条约的目的，而又不背上舆论和道义上的不利压力。
山本五十六在谈判桌上的高超技巧，赢得了国际、国内法西斯的一致喝彩。回国后日本海军当局还为他举行了归国报告会。通过裁军谈判，山本五十六对世界海军大势的发展非常明了，他认为当时日本的国力与美国相差很远，所以不能卷入和美国无限制的造舰竞赛。他在给一个朋友的信中写道：
不可否认，我帝国之国力较之美国确有天壤之别，吾等深感日本帝国是到了谨慎自重、发奋图强的时候了。可以想象，第一次世界大战前的德国，如果再忍耐50年的话，它当今也能与强国相匹敌。前车之覆，后车之鉴。
今天我们日本帝国必须冷静自重，积蓄力量，盛国强兵。尽管此次谈判已毫无胜利可言，但只要我们能清醒地意识到上述各点，并使之付诸实施，将不愁英美拜倒在我们的麾下。
最后他满怀信心地说：
对海军来说，至为重要的也是谨慎自重，艰苦努力，当务之急就是无论如何也要迅速发展海上航空兵。
山本五十六，这位刚在伦敦海军裁军会议预备会议上提升的海军中将，已经成为日本国内家喻户晓的人物了。
这一时期日本的国内局势动荡不安。在大资产阶级的扶植、纵容下，日本法西斯运动达到了疯狂的地步。日本军部在中国发动“九一八事变”成功后，法西斯分子深受鼓舞，便开始在国内实施暗杀政变等手段，企图建立法西斯独裁统治。
1932年，他们迫使政党内阁倒台，军队内的法西斯分子也分裂成“皇道派”和“统制派”。两派相互残杀，并于1936年2月26日制造了大规模的流血事件——“二·二六”事件。
大约1500多名“皇道派”官兵打着“天诛”的旗号，对统制派实行突然袭击。杀戮持续了近四天，统制派遭到了残酷的清洗。
81岁的藏相高桥是清、内大臣斋藤实、天皇的侍从长铃木贯太郎、首相冈田启介等重要人物均遭袭击。铃木和冈田侥幸活命，高桥和斋藤实被杀。
1936年2月29日，天皇下旨平息叛乱。得到大财阀支持的法西斯统制派趁机剪除异己，控制了政府。事变后的广田内阁，实际上是军部的傀儡。在法西斯主义分子的操纵下，广田内阁加快了侵略扩张步伐。
8月，通过了《国策基准》，决定“在确保帝国在东亚大陆地位的同时，向南发展”。
11月，日本和德国签订《反共产国际协定》，把矛头指向美国。
国内局势的变化使刚被任命为海军航空本部部长的山本五十六忧心忡忡。他对过激分子的行为十分反感。在“二·二六”事件爆发之初，曾有人到航空本部动员海军参加，结果被山本赶出办公室。
事件发生后，山本曾说：
如果陆军做得太过分，使叛乱势态继续恶化下去，海军也准备出面干涉，最终难免同陆军兵戈相见。
这虽然是一时气话，不过也反映了他的态度。
山本五十六反对过激分子的行为，并不意味着他主张世界和平。事实上，在效忠天皇、对外扩张方面，他同日本其他法西斯分子的思想是一脉相通的，只不过他比一般人看得更远，考虑得更周到罢了。从这个意义上说，他是一个更具危害性的法西斯战争贩子。
山本认为，就日本的国力而言，打一场同世界强国之间的战争，条件还不成熟。如果非打不可，那么绝不能依靠巨舰大炮与之海上决战，唯一可以扼制敌人的办法就是依靠飞机打击。
他曾设想，在一般情况下，如果具有强大优势的美海军横渡大洋攻击日本，日本海军可以使用一种大型的远程陆基战斗机对之进行轰炸拦阻，不断削弱其力量。当他们到达日本近海时，力量就被削弱到与日本舰队差不多，甚至劣于日本舰队。
后来的战争发展表明，在美国舰队攻击日本本土时，日本采用的就是这种战略。
出于这种思考，山本五十六竭其所能发展空军力量。在任航空本部技术处长时，他就开始对飞机进行技术改造，生产全金属高性能飞机，并提出“国产化”的口号。
1933年，他主持设计成功远程陆基机“八式特种侦察机”，1934年成功地改造为“九式中型陆基轰炸机”，1936年投入大批量生产，被称为“九六式陆基轰炸机”。这种飞机在当时世界各国中，技术和攻击力堪称一流。
山本五十六在任航空本部部长期间，每月至少要到三菱重工业公司和名古屋的飞机制造工厂去访问一两次，并且想方设法争取三井、住友和日立三大公司参与航空工业的发展。
此外，他还经常到曾经工作过的霞浦海军航空队探视，给予海军航空事业高度关注。
其间曾经发生许多有趣的事情。当时，由于技术和人员素质方面的原因，航空队事故发生率很高，航空队副队长桑原雄虎对此一筹莫展。这时，有人向他推荐了一名看相先生，说是能够分辨哪些人适合驾驶飞机，桑原向有关方面提出建议，结果引起一片嗤笑。只有山本表示大力支持。
事实证明，这种看相的方法实际上是一种经过长期观察积累的经验，在当时科技尚未发达的情况下，不失为一种办法。结果，这位看相先生被正式任命为海军航空本部顾问。
这件事既表明了山本对部属的关心，也说明了山本在某些方面与常人想法不同，几乎完全凭直观的判断。在山本五十六的心血浇注下，日本海军航空飞速发展，日本的飞机生产能力跃居世界第二，空军战斗力也迅速提高。1937年8月，为配合陆军大规模侵华，日本海军发动“八一四”空战，虽然遭到失败，但其跨海作战的能力令世界瞩目。值得庆幸的是，山本的航空打击和空海军思想并未被海军首脑所接受。早在1934年10月，日本海军军令部就确立“帝国海军第三次造舰补充计划”，决定建造配备18英寸大口径火炮，总吨位达72000吨的巨型战舰“大和号”和“武藏号”。山本对此激烈反对，但他的建议未被采纳。“二·二六”事件以后，广田弘毅组阁。他任命海军大将永野修身担任海军大臣，取代了大角岑生的位置。永野修身是一位很有才华的海军大将，但是过于自负，极易冲动。山本对他常抱轻蔑态度，然而永野对山本却十分推崇。
早在他出使参加伦敦裁军会议时，就曾邀山本参加，遭到了拒绝。担任海军大臣后，他首先选中山本五十六担任海军省次官，山本再次拒绝。永野不高兴地问山本是否对他抱有成见，存心不予配合。在这样的情况下，山本五十六不十分情愿地答应了担任海军省次官职务。
尽管山本五十六对海军省次官的职位不感兴趣，但担任此职却为他推行自己的主张提供了条件。他一方面全力协助永野修身整饬海军；另一方面极力鼓动永野与陆军抗衡。
使他失望的是，永野在对待陆军问题上经常表现出软弱。1937年1月，国会中残存的政党势力指责军部干预政治，并指名陆军大臣寺内寿一应当切腹自杀。陆军态度十分强硬，提出政党要进行反省，内阁召开会议，解散国会。在军部的干预下，广田弘毅内阁于1月23日瓦解，永野修身只好离开海军省。
为了加强海军的地位，山本说服永野推荐米内光政任海军大臣。于是，在林铣十郎大将的内阁中，米内担任海军大臣，山本继续任次官，开始了海军省的米内一山本体制时代。米内对山本十分信任，不仅因为两人曾同在炮术学校学习，并结下深厚友谊，更因为思想观点甚至性格都十分接近。
一般情况下，山本的意见和建议都能得到采纳，米内也由于有山本这样的得力助手十分省心。
山本任海军省次官期间，日本侵华战争全面爆发。然而在日本军部内部，对待侵华战争的态度却不一致。
一些强硬派认为，中国不堪一击，主张立即解决中国问题。以海军省为代表的人则认为，日本对外扩张的真正敌人是苏美等国，不能把力量消耗在中国大陆。山本五十六就属于后者。
据说，他曾经对知心朋友武井大助说：
陆军中的这些混蛋们，果然挑起了战火，简直要把人气疯了。我从此戒烟，直至这次事件结束为止。
他对陆军的反感，经常是公开化的。
据说在一次陆海军首脑同时参加的会议上，山本坐在一位陆军将军旁边。会议开始后，这位将军大发议论，山本感到十分乏味，就把他的椅子悄悄往后挪了挪，结果让这位将军“扑通”一声摔在地上。
还有一次，陆军次官东条英机炫耀陆军飞机的性能和战斗力，山本竟尖刻地说：“实在了不起，你们的飞机也能飞了。不过，你可别忘了，有人常说：‘海上的雄鹰，陆上的鸡。’”
这句话引得哄堂大笑，只有东条和山本面无表情。然而，不管山本和海军省如何努力，也无法左右形势的发展，日本政府已决心在中国大打一场。从“七七事变”至1937年年底，日本不断对中国派兵，并以四万多人的代价于年底占领上海。国内外局势日益向着与山本五十六意愿相反的方向发展。日本军国主义政府一面加紧对华侵略，一面寻找国际支持。这与处于同样境地的法西斯德国不谋而合，双方关系日趋密切。日本政府的这一行动使得山本五十六和海军省十分焦虑。因为山本十分清楚，与德意结盟自然就意味着与英美苏为敌，其后果不堪设想。所以，山本和米内主持的海军省极力反对同德意结盟，而主张对英美实行安抚政策。1937年12月12日，正当日军进军南京的时候，美国炮艇“珀内号”载着使馆人员和西方记者撤离南京。杀红了眼的日海军航空兵明知是美国舰只，依然疯狂地炸沉了“珀内号”。山本听到消息后大为震惊，连忙发表声明，承认“这次事件的责任全在日本方面，海军应当诚恳认错”，并将直接责任者海军第二联合航空司令免职查办。但是海军省并不能在日本政府中起主导作用。
在陆军的坚持下，1938年11月，首、陆、海、外、藏五相召开会议，通过了促进日、德、意三国协定的决议，并制定部分接受德方提议的日本方案。
不料，驻德大使大岛浩和陆军坚持全盘接受德国提出的协议方案，不同意五相会议提出的只把苏联作为作战对象，从而导致近卫内阁辞职。由枢密院议长平沼骐一郎组阁的新政府在三国同盟问题上依然束手无策，只好频繁召开会议，先后达七十多次。
山本五十六的苦心并未得到法西斯主义分子的理解。他们把山本反对同德意结盟看成是亲英美行动，许多右翼分子开始对山本采取针对个人的行动。
右翼政党大日本生产党的一个团体决议中写道，鉴于山本在海军中影响甚大，成了一些人的精神支柱，“要收集山本次官私生活方面的材料，即他同他的情妇——新桥的艺妓梅龙间来往的情况，以此作为突破口，在社会上把山本搞臭，破坏他的形象”。
山本对此毫不在意，他对那些人说：“难道你们不拉屎放屁吗？假如你们之中有人不拉屎放屁，也从未和女人有过云雨之情的话，我倒要见识见识，听听他的高见。”
这招未能奏效，极右分子又采取恐吓、暗杀的办法。海军省经常收到“宣言书”、“请愿书”、“劝辞书”和恐吓信，许多极右分子甚至当面提出“替天行道，诛讨山本”。
无奈，山本只好求助警察署，外出时随身携带特制催泪器，而且做好了随时遇难的准备，甚至在1938年5月31日预先写好了遗书，声称：
丹可磨而不可夺其色，兰可播而不可灭其香。吾身可灭，而吾志不可夺也。
死心塌地效忠天皇和法西斯主义之情，溢于言表。
正当日本国内就同德意结盟闹得纷纷扬扬时，长期对立的苏联和德国突然签订互不侵犯条约。这与德日之间签订防共协定是根本矛盾的，使力主与德结盟的大岛浩大使狼狈不堪，日本国内一片哗然。
1939年3月，平沼内阁召开最后一次五相会议，决定停止三国同盟条约的工作，之后全体辞职。米内光政也因此离开海军大臣的位置。
由于不愿看到山本在海军省被杀，米内推荐了吉田善吾-担任海军大臣，让山本接任吉田联合舰队司令长官兼第十舰队司令长官职务。