辞去清华校长之后，罗家伦受命为中央政治学校教务长兼代教育长。虽然仍然做的是教育行政工作，但是这个学校的来头很大，校长由蒋介石亲自兼任。罗家伦大树底下可乘凉，日子过得一度颇为悠闲。
但是，像罗家伦这样的教育干将，到得吃力的紧要关头，总有人惦记起他。其时，组建仅仅数年的中央大学，因学潮澎湃，前后数任校长一直未得上手，将教育秩序引上正轨。罗家伦北大时的老师、时任教育部长的朱家骅，便亲自登门来礼请罗家伦再度出山了。罗家伦起先颇为犹豫，怕再弄出一个骑虎难下的清华局面，这糗就出大了。朱家骅劝他：志希，我们这些做实事的人，善做者，愈是挫折愈长精神；不善做者，稍遇小挫，才喉头生痰瘤呢。何况，教育是什么？那是关系到国家民族前程兴衰的一件大事，岂容你半途袖手不管的！罗家伦这才为之敛容正听。
国立中央大学正式挂牌于1928年5月。它的早期雏形，为清光绪二十八年（1902）张之洞署理两江总督时，所创办的三江师范学堂。民国4年（1915），扩建为南京高等师范学校，这是该校步入现代教育的一个开始。1921年，再在“南京高师”的基础上筹建东南大学，成为中国最早期的国立综合性大学之一。以后，相继经过了“国立第四中山大学”、“国立江苏大学”的时期。
国立中央大学在罗家伦入主前的一段时间，可以用“乱象环生”四个字来形容。
1928年5月至1930年10月的“国立中大”校长为张乃燕。任期内张乃燕曾经三次请辞。第一次请辞，因民国元老吴稚晖不肯蹚浑水而未果。后面两次请辞则主要为办学经费困扰，校长没本事提高广大师生的生活学习质量，只好拍屁股走人。1930年底，原中山大学校长、国民党中央执委朱家骅接手国立中大事务，他任校长的一年余，日子也不好过。于是，只好学了张乃燕的样，三上辞呈。那个年代的学生，本来就牛气冲天。1931年9月28日，中大学生为声援九一八事变后的东三省抗日，至中央政府机关游行示威，外交部部长王正廷言语间颇为傲慢，学生们便拳脚相加，殴打了王正廷。这种事情发生，校长必须第一时间站出来承担责任，这是朱家骅一上辞呈的缘由。随后的两次请辞，仍跟“国立中大”的经费有关。江苏省政府停拨“国立中大”经费，“国立中大”教职员有三个月未领到薪水，师生看朱家骅的眼神早已充满了怨怼，朱家骅直觉学潮一触即发，于1931年12月底坚决辞职。（蒋介石体谅他，数日后即被任命为教育部长。）
接下来，“国立中大”之局面果然一发不可收拾了。1932年1月8日，国民政府发布桂崇基为校长，遭到学生的反对与殴辱。1月31日，改任命著名科学家任鸿隽为中大校长，任坚辞不就，只好请“国立中大”的法学院院长刘光华代理校务。6月27日，行政院好说歹说，终于劝动教育部政务次长段锡朋，至“国立中大”代理校长。这段锡朋是一个倒霉蛋，上任仅数小时，即跟学生比起了全武行。这段锡朋的手脚显然没有学生的灵活，长衫被撕破，头面部也被弄了一个鼻青脸肿，径赴鼓楼医院治伤。朱家骅大怒。在蒋介石的支持下，便于1932年6月29日，下令解散了国立中央大学，教师解聘，学生一律离校“听候甄别”。7月初，国民政府组成中央大学整理委员会，聘请蔡元培为委员长，李四光为副委员长代行校长职务，负责处理相关的善后事宜。
因此，在上面一种情形之下，任何一个人再担任中大校长一职，都应该是战战兢兢、如履薄冰的。罗家伦之上位，真可谓天将降大任于斯人也。
1932年9月5日，是罗家伦到“国立中大”上班的第一天。朱家骅打电话问他要不要派几个军警护送。罗家伦笑着回答：如果是这样，我便不是去做校长，而是去做一个囚犯了。罗家伦只叫了一辆黄包车把自己拉到“国立中大”的校门口。当时，有学生会与教授会的代表们到校门口迎接他。罗家伦的亮相方式，令好斗的“国立中大”学生大为意外。罗家伦谦虚说：我这次来中大主持校务，事先与大家约定以三个月为考试期。如果大家认为我这个校长是好的，可行的，希望三个月的考试期满，大家继续配合我的工作，完成好各自的教与学任务。如果大家仍然觉得我这个校长是坏的，也不一定要等到三个月期满，大家头一天弹劾，第二天我立马走人！当时，“国立中大”的多数师生动极思静，而且，罗家伦走马上任所做的第一件事情，便是跑到江苏省政府去把积欠教职工们的薪水弄了回来。
罗家伦跟大家约定的“三个月”考试期到，“国立中大”师生们望着罗家伦的神色，仍然是笑容可掬、春风拂面的。走在“国立中大”的校园中，树木青翠入骨，书声楚楚动人。如此，罗家伦的校长一职也就无风无浪地继续做了下来。
由此，罗家伦带领国立中央大学，走进了十年黄金的发展时期。
1932年10月11日，罗家伦对国立中央大学的全体师生，发表了题为《中央大学之使命》的治校演说。该演说既传承了他在清华任职时的教育理念，也有根据当时严重之时局，对广大师生更加殷切的期盼。今天读来，于现今大学教育仍不无可借鉴之处。
罗家伦说：“现在，中国的国难严重到如此，中华民族已临到生死关头，我们设在首都的国立大学，当然对于民族和国家，应尽到特殊的责任，就是负担起特殊的使命，然后办这个大学才有意义。这种使命，我觉得就是为中国建立有机体的民族文化。我认为个人的去留的期间虽有长短，但是这种使命应当是中央大学永久的负担。”
为达到这样的目的，罗家伦提出了树立“诚、朴、雄、伟”之优良学风的要求。
所谓诚，即谓对学问要有诚意，不以它为升官发财的途径，不以它为取得文凭资格的工具。对于我们的使命更要有诚意，不作无目的的散漫动作，坚定地守着认定的目标走去。要知道从来成大功业、成大学问的人莫不是备尝艰苦、锲而不舍地做出来的。我们对学问如无诚意，结果必至学问自学问，个人自个人。
所谓朴，就是质朴、朴实的意思。从前讲朴学的人，每著对一书，往往费数十年；每学一理，往往参证数十次。今日做学问的和著书的，便不同了。偶有所得，便惟恐他人不知；即无所得，亦欲强饰为知，很少肯从笃实笨重上用功的，这正是庄子所谓“道隐于小成，言隐于荣华”的弊病。我们以后要体念“几何学中无王者之路”这句话。须知一切学问之中皆无“王者之路”。崇实而用笨功，才能树立起朴厚的学术气象。
所谓雄，就是“大雄无畏”的雄。今日中国民族的柔弱萎靡，非以雄字不能挽救。现在中国一般青年，每每流于单薄脆弱，这种趋势在体质上更是明白地表现出来。今后吾人总要以“大雄无畏”相尚，挽转一切纤细娇弱的颓风。男子要有丈夫气，女子要无病态。不作雄健的民族，便是衰亡的民族。
所谓伟，就是伟大崇高的意思。今日中国人做事，往往缺乏一种伟大的意境，喜欢习于小巧。我们今后总要集中精力，放开眼光，努力做出几件伟大的事业，或是完成几件伟大的作品。至于一般所谓门户之见，尤不应当。到现在民族危亡的时候，大家岂可不放开眼光，看到整个民族文化的命运，而还是故步自封，怡然自满？我们只要看到整个民族存亡的前途，一切狭小的偏见都可消灭。我们切不可褊狭纤巧，凡事总须从伟大的方向做去，民族方有成功。
罗家伦从当上国立中央大学校长的那一天起，即抱了一个绝大的梦想。他千方百计想要把“国立中大”开办成为像牛津、剑桥或是哈佛那样的名校。
有人说，一所名牌大学的真正魅力在于它的校长。而罗家伦则认为真正体现一个校长的事情，则在于他的聘人。罗家伦做国立中央大学校长，在请老师时有两项原则，这是有目共知的。其一：“聘人是我最留心最慎重的一件事。抚躬自问，不曾把教学地位做过一个人情，纵然因此得罪人也是不管的。”其二，当年大学教师的聘用有专任、兼任的区别，罗家伦的观点是一个人做任何事情都必须专心，一分心做事的成色便不足了。因此，罗家伦在聘用教授时也务求其专任，“凡可请其专任者，莫不请其专”，这是罗家伦稳步提高大学教学质量的一个窍门。罗家伦数年的“国立中大”校长做下来，中大兼任的师资已经从110人降到了34人。而在罗家伦人格魅力的感召下，加入“国立中大”共襄教育盛事的学者名流，却一时如过江之鲫。例如，当年堪称国内一流的理学人才：数学博士孙光远、曾远荣二人，化学博士庄长恭，生物博士孙宗彭，物理博士罗宗洛、施士元二人，地理博士胡焕庸、王益崖二人以及前清华大学教授胡坤院、两广地质调查所所长朱庭祜、名师张其昀等人。其他广为今天读者熟悉的名家还有：经济学大师马寅初，艺术大师徐悲鸿，诗人、美学大师宗白华以及国宝级的农学家梁希、金善宝，天文学家张钰哲，医学家蔡翘，建筑学家刘敦桢和杨廷宝等。在此期间，先后被罗家伦礼聘为各院系带头人的著名专家还有：孙本文、张广舆、陈剑修、查谦、汪东、李善堂、李学清、庄长恭、孙光远、戴修骏、马洗繁、郑晓沧、艾伟、蔡无忌、邹树文、周仁、卢恩绪、戚寿南等人。时人评价这一阶段的“国立中大”，是花烂映发，无处不善；天才卓出，标榜佳致，居然有江山万里的气势！
1937年，是罗家伦主持中央大学的第五个年头。
早在一年前，罗家伦根据中央大学蒸蒸日上的发展势头，即向教育部提出：中央大学定位于首都一流大学，可是在国家用人之际，却仅仅只能维持上千人的办学规模，这未免让国际社会轻视了我堂堂中华的发展志向。因此，他建议在南京郊外择址新建一座能容纳5000名至1万名学生的，国际一流的中央大学。这个时期，“国立中大”在社会间的声誉日盛。学校的名气出去了，校长讲的话在政府的上层便有分量。根据罗家伦的设想，国民党四中全会很快通过了建设新中央大学初期240万元的建筑费。选定的新校址在南京城南门外7公里处的石子冈。先期的土木工程也已经开始动工。但是，七七事变发生，中日间爆发了全面的战事，罗家伦的宏伟大学梦，在这“霜天月落夜将半，谁共澄潭照影寒”的冱寒时局中，终究化为了一帘旧梦。