一九二七年十月一日，张耀曾日记写道：
近日杀伐之声满全国，晋奉有战，鲁豫有战，汉宁有战，浙宁有战，粤有战，滇有战，一时戾气云挡，金鼓地震……余有激言，民国以来，自命健者，竞言治理，计划万端，标举争行，曾无几时，无不溃败，而乱乃益剧。而最切近最明白之一件事，总不能做，且不肯说。此事为何？即“罢战”二字而已。余以为，我国不要什么主义，不要什么政策，更不要许多办法，只要大家抛弃一切军备，绝对断绝一切内战，则三年而民安，五年而民乐，十年而精神与物质之文明将为五洲冠。
一九三二年一月四日，他在上海公宴冯玉祥时说：“现代任何国家，养兵皆以对外，无用之内战者，独中国犹袭二千年封建思想，内争不已，亡国之原在此，非从此改革不可。”
看着军阀们整天杀来杀去，这位书生政治家深感无力，一九二七年夏天，他辞去法权讨论委员会一职，闭门养病，读书明志，就是要远离是非漩涡。（1928年6月3日，知张作霖离开北京，他在日记中说，从政十多年，未曾与“东北王”张作霖一通款洽——“余素拒斥军阀，故亦不为军阀所喜，去岁张自称大元帅，余即日离去法权讨论会委员长职务，避之惟恐不速。”）
他在民国官场上浮沉十多年，三入内阁，一旦下野，竟连生活都有问题。一九二八年三月二十三日，他说：
余半生奔走，所得私产，仅此地四亩，房四十余间。此外，不但毫无积储，且有负债（因团体事负债除外）。今生活困穷，并此区区不动产，亦将不保……
在离开政治舞台的日子里，他日日自省、反思，骨子里还是个读书人——“喜观天、亲自然、爱学习、善思考”的“做学问的读书人”。一九二七年十月十二日，他在日记说：“连日战事传说不一，余则此心恬然，一切置之度外，仍作读书作画（即求真乐美）之生活。余少喜吟咏，虽不善作诗，却极喜读诗。读亦漫无轨辙，皆随意翻阅。尤好吟诗，吟亦别无选择，或间步，或饭余，信口呓语，适意而已。”一九三四年十二月三十一日，又是一年将尽，他在日记中感慨：“惟余除夏间读书数种，思想少有进展外，均操笔为诉讼文字，别无著作，亦无事业，为可愧耳。”
他的读书范围很广，不限于法学专业，对生物学、天文学、生命科学，对哲学、历史、艺术、经济、古诗等都有强烈的兴趣，读书笔记中时有一些独到的心得体会。晚年他常在上海各大学讲演，讲学问之道，从这些讲演中可以看出他的书生本色。
一九二九年三月十八日，他在上海江湾法科大学开学典礼上演讲时认为，立言第一，其次立德、其次立功。他说，拿破仑纵横欧洲，成吉思汗席卷欧亚，在他们个人固然是一世之雄，然从整个人类看来，并无多少价值。他所倾慕的历史人物是达尔文、牛顿、马克思、瓦特等人。十二月二十五日，云南护国起义纪念日，他在中国公学演说，袁世凯称帝，当时天下敢怒不敢言，而起义诸公敢起兵反抗，勇气可佩。“历史最重信实，我观从来历史，非强者自己夸耀，即狡者自己装饰。尽信史不如无史，即如近年出版各种民国史料，亦半属自己宣传，属于自己者夸耀之，不利于己者隐匿之。而不肯自己宣传之人，则其事实无从表彰。”
一九三二年十二月二十八日，他到复旦大学演讲《民国制宪概观》，指出宪法的收效基于两个要素，一是有实权者有诚意收束自己的实力，在宪法的规范内行事，认为非实行宪法不可，自己绝对遵守，即宪法乃有权者自己拘束自己的戒律；二是多数国民了解政治，有浓厚的政治欲，将宪法当做满足这种政治欲的手段，绝对实行它、拥护它，即宪法乃国民的政治欲的表现。当时国内正争言宪法，他认为比纸面上制宪、国民会议上制宪更重要的是，要从国民自身制宪，从有权者的脑筋中制宪。
一九三三年十月二日，他在东吴大学法学院演讲，因为世人重自然科学、轻社会科学，所以社会科学不够发达，“自然科学不过利用厚生，而社会科学则在确知社会现象之因果律，顺应之以创制社会新机构”，社会科学的责任重大。
一九三六年二月六日，他在青年会演讲，“学问乃对于一切现象，求精密之认识”，探求社会生活根本法则，要从生物学、人类学、心理学、社会学、历史学等入手，要站在自存心和同情心的中和点上，以改造社会一切机构，这是我们把握社会生活的大法则。