在稍后的几天里，孙、丁二人自是有一番密集酬酢和视察：招待上海各界，宴请各国驻沪总领事、工部局董事、总办等外宾；会审公廨是列强侵害中国司法权的一个畸形物，它设于1846年。1927年初改为上海临时法院，再过些年，南京政府与各国签订《关于上海公共租界国法院之协定》，至此，迁延近20年的收回会审公廨的变涉，终告结束，因为上海会审公廨大门又不断出席各种邀宴；参观兵工厂，校阅救火会，检阅警察等等。自然，在各种应酬活动中，孙传芳也不忘宣传他的“新政”和任用丁文江的初衷，他在5月5日的一次招待会上就说；把地方行政权集中在一处，使他有能力可以改良原有的市政，筹备未开的商埠，解决外交上之悬案，渐渐把租借以外的上海，造成功一个模范市，然后以模范市政的成绩，为要求收回租界的根据。我找得帮我忙的丁总办，不是我的私人，他本来是为英国庚赔款委员会的事来的，我相信他不肯谋自己的私利，相信他能实行我的政策，我才肯找他来，他赞成我的政策，他方始肯来。不然，要想当商埠总办的人多得很，我手下的旧人也多得很，我又何必要找一个没有给我共过事的姓丁的呢？
中央研究院建筑照片5月11日，孙传芳离沪赴杭。丁文江将孙送走后，他作为上海的最高行政首长，就两始全面行使起“总办”的职权来。首先办的成功的就是收回了会审公廨。
1933年11月间，丁文江结束了两个月的苏俄旅行，回到了北平。一回国，中央研究院院长蔡元培就马上与他接洽，恳切希望他能出任该院总干事。原来，这年的6月18日，也就是丁文江出国前5天，中研院的总干事杨杏佛在上海遇刺。当时讨论继任人选时，教育文化界人士大多属意于丁文江，认为丁任此职最适宜；这主要是基于他过去20年来在科学、文化方面的成绩：地质调查所的工作、与张君劢的论战、“北京人”的发现，这都是有目共睹的。当时持这种态度的人，不止他的朋友，有好多是与他私交不厚但持论公允的人；而蔡元培先生也深以为然，故而竭力罗致。
面对蔡先生的诚挚邀约，丁文江很是踌躇。尽管他对科学极具热心，但对国事“尤宏抱志愿”，以为一旦担任这个职务，则“须以机关地位为先，不便轻发猛进言论”。最使他迟疑的，是他的身体状况：他回国后，常觉身体不适，特别是左脚大拇指老是发麻。他一直坚信遗传学的若干假设，以为不会活过50岁，因为丁家的男子，没有超过这一大限的。基于此。在考虑是否接受蔡先生的邀约时，他特意到协和医院作了一次丁文江(右一)出席中央研究院评议会成立大会。蔡元培彻底的检查。他特别就脚麻的症候询问医生：‘要紧不要紧？”医生说：“大概不要紧。”他又问：“能治不能治？”医生说：“不能治。”他一听到这话，立时放心了：若是能治，当然要想法子去治，既不能治，便从此不想它好了。
在蔡元培的坚邀和院内诸好友(如傅斯年等)的轮番劝说下，丁文江终于答应到中研院。第二年春天，丁文江为探视翁文灏的病，专门到南方，这期间与蔡元培先生多次长谈；他答应来院，就在此时。这年3月13日的《蔡元培日记》记道：“属备聘书致在君，由子竟携去。”不过，丁文江虽允来院，但不愿居总干事之名，而愿为副院长。于是，蔡先生就呈文国民政府，请求修改《中央研究院组织法》，将总干事改为副院长。但此事运作起来颇麻烦，后经协调，丁文江也答应就任总干事。4月24日，中研院正式聘请丁文江为该院总干事。杨杏佛5月18日，丁文江到上海，就任总干事。这天下午，留沪同事开欢迎会，与新总干事行相见礼；3天后，在南京中研院总部，也举行了类似的见面仪式。上任伊始，丁文江就向蔡院长提出：必须有一过去随他工作过的熟手作助理；而时任中研院文书处主任的是鲁迅先生的同学许寿裳。丁燮林。杨杏佛遇刺后，中研院决定请物理所所长丁燮林代理总干事，并请工程所所长周仁、史语所所长傅斯年随时协助。对许先生，丁文江也主张妥为安置，因向蔡先生表示：‘甚愿筹一优待之法。”这样，许寿裳辞职，改就北平大学女子文理学院院长。而新上任的这位“熟手助理”，就是丁文江在农商部地质研究所时期的得意门生徐韦曼。
丁文江在上海、南京匆匆行完“就职礼”后，即返回北平。在最初返平的几天里，他与好朋友胡适、徐新六、竹垚生等一同游览了长城，参观了在团成举办的西北古物展览。至于北大的职务，考虑到就新职后势难兼顾，便将有关工作结束，并告长假一年，但教职仍保留。这样，用了不到20天的时间，丁文江将北平的事情略作收束，就又匆匆南下，正式到中央研究院视事了。
6月15日，丁文江到了上海，与蔡元培院长接洽后，即于18日晚间抵达南京。19日，到院办公。丁文江一上任，做的第一件事是整顿总办事处：把总人数缩减到18人；裁撤庶务处，将国际出版品交换处移归中央图书馆办理，只保留原有的文书、会计两处。丁文江所以要进行机构精减，是为了节省行政费，增加事业费。当时中研院原有经费，连各所经常费，每月为10万元，总办事处经费每年12万元。由于多年来经费困难，而各所因工作关系，已无可再减，故将总办事处缩小范围，以其节省下来的费用(两处撤销后，总办事处每年可节省5万元)，支用于研究事业。此举可体现丁文江的工作理念：一切以研究为中心。丁文江任中央研究院总干事时使用的名片建大学术，处细微事1934年丁文江接任总干事的时候，中研院下属10个研究所。
在研究所建设方面，丁文江上任伊始，即把自然历史博物馆改称为动植物研究所，并聘王家楫担任所长。因心理、化学两所原所长坚请辞职，乃新聘汪敬熙、庄长恭分别担任所长。他看到当时社会研究所人才缺乏，就积极促成中基会所办的社会调查所和中研院的社会研究所合并，改称社会科学研究所，并聘请陶孟和为社会科学研究所所长。但就在这件事上，他与多年的知交任鸿隽发生意见分歧，几致决裂。事情是这样的：中央研究院与中基会的任鸿隽商酌好两所合并的条件后，任鸿隽又就中基会赞助该所的金额与所长的任期年限提出新想法，这引起陶孟和的极大不满。对此，丁文江也不满意任鸿隽的做法，请胡适出来协调，做工作，仍维持原案。本来，丁、陶、任等都是相交甚深几十年的老朋友，但在原则问题上却丝毫不让。当年他们之间彼此交涉、讨论的信函还完好地保存着，而今，七十多年过去了，我们再重新检视当年的有关文件和丁、任、胡、陶等人的往来函件，就会发现：他们之间，误会的成分居多，而意气的争论居少。
此外，他还希望将科学社的生物研究所与研究院的自然历史博物馆合并，请生物研究所的秉志来做中央研究院动物研究所所长。尽管他为此事做出了不少努力，但由于种种原因，却没有成功。
评判一个研究所办得成功与否，主要应着眼于所内的研究人员选得是否得当，并且所内是否有一种研究的精神使所内人员能日日进步。当年丁文江办地质调查所能取得大成绩，主要也在于坚持了上述两条。如今，他管着十来个研究所，还是要这样做。1934年7月刘半农逝世后，时任北京大学文学院院长的胡适，很想把历史语言研究所的李方桂‘挖”来，以继承刘半农遗下的“语音学讲座”。此举遭丁文江坚决反对。一方面给李方桂做工作，一方面1935年2月14日至16日，中国地质学会召开第11届年会，丁文江从南京赶来北平参加。在这次年会上，丁文江被授予葛利普奖章。致电蔡元培，请蔡致电胡适，“嘱勿强拉方桂”。最后，采取变通的办法：北大从史语所借罗常培二年，与中研院不脱离关系。中央研究院的日常工作非常繁杂，身为总干事的丁文江也因之格外繁忙。他必须参加定时召开的院务会议，出席各种宴会、应酬，有时还要代表蔡元培院长出席一些活动，如1935年4月，第二届全国气象机关联合讨论会在南京举行，丁文江就代表蔡元培院长出席会议并发表演说。此外，还要处理各种突发事件。
1935年4月10日，丁文江正在中研院主持召开太平洋科学协会海洋学组中国分会成立大会。就在这时，史语所的河南考古现场突然发生的一件连环辞职案，紧急报送到他的案头。原来，1934年丁文江就任总干事后不久，就给史语所定下了一条规矩：做野外工作不得携带眷属。他的想法是：田野工作原本就是苦事，甘苦须大家共之，挈眷与携女友皆足使同事有苦乐不均之感。但此令一下，立刻引发赵元任、李方桂的激烈反对，扬言若不收回成命，必欲求去。后经丁文江诚意沟通，才得谅解。这次连环辞职案，就因携带女友引起的。前不久，史语所河南考古组的大干将董作宾，事前未向傅斯年和李济说明，就把女朋友带到彰德去，并且住在史语所办事处里面。傅斯年知道后就打电报给李济并转呈丁文江：“中舒自彰返，始知彦堂此行携女友往并住办事处，弟汗流浃背、痛哭无已，追思本所风纪至此，皆弟之过”，因而要自请革职。李济于4月9日得此电后，即请赵元任将此电转呈丁文江，又写信给丁文江说，对傅斯年因董作宾携女友到考古现场而辞职事深感“瞑恐”，认为傅斯年不应承担任何责任，并自请处分。他提出的理由是：当时他正担任代理所长；董作宾此行参加第二届全国气象机关联合讨论会的代表合影傅斯年在事前已经表示反对，而李本人允许之；此事发生在李济主持的考古组。故李济提出“孟真兄殆无责任可言”，并请求免去考古组主任一职，“以维院纪，而董作宾儆效尤”。而董作宾知悉后，就立即致电傅斯年、李济，坚决辞职：宾因招待女同乡参观工作，致干本所风纪，无任惭愧，谨请即日辞职，以谢贤明。丁文江得报后，自不能轻视，因为，这几位大台柱都辞职不干了，安阳的考古工作岂不要半途而废？他先是写信给董作宾，剀切分析因‘携女友”引发的连环辞职后果，并晓以大义，请董不要辞职：……(研究院为纯粹研究科学机关，对于汝职员之私人行为无干涉之必要)但职员行动牵涉研究院时，则公私方面均为极端慎重，此原则也。持此原则以衡此次之事实，则兄招待女友赴彰事先当就应得孟真或济之同意。何况兄之女友又同寓彰德之办公所乎！孟真之所谓“风乡己’问题当即指此。孟真、济之皆极爱兄，恐兄不谅，故不肯相责而自引咎辞职并非欲以此逼兄。此意兄当能知之。弟意请兄善自反省，即致孟真、济之一函，对于事前未征同意诚意道歉，则事即了。在中国目前状况之下，研究学术非有机关不可，求一相当之机关谈何容易！任何人皆不可轻言辞职，弟当以此意告孟真、济之及元任，兹谨以之告兄，请兄幡然改图，勿作去意。且勿以良友之忠言为逆耳也……同时，丁文江还致函徐中舒，请徐“善为弟等解释，使彦堂勿负义气求去也”，又进一步申述不主张野外工作者携眷旅行的理由。但董作宾的辞意极为坚决，信未收到即离彰德回北平了。
丁文江知道后，立即打电报给胡适，请胡劝说董作宾不要辞职，又将有关电函寄给胡适，以便胡了解事情原委，他在给胡适的信中说：……我所要请你向彦堂说明的：(一)孟真对于他无丝毫的恶意。他本来是容易冲动的。他去年离婚的事至今不免内疚，所以有这次的爆发，懂得他心理的人，很容易明白。(二)我给彦堂的信是为孟真、彦堂两方面找台阶下台，并非要责备彦堂。目前孟真的冲动已经大体过去，只要彦堂不辞职，我想就没有什么问题。无论你如何忙，请你务必向彦堂解释，请他打消辞意。
同时，丁文江又写长信给董作宾，诚挚解释、劝说。最终，董作宾心平气和地返回河南的考古工地了。20年后，董作宾回忆当时的情景说：“丁先生给我印象最深的就在民国二十四年，那时为了一件不愉快的事，我在北平，他在南京，他曾一再写长信去劝我，他以摆着一副老大哥的面孔，写了许多诚诚恳恳的话语，举出许多他自己的经验，谆谆教导我，使我看了非常感动，于是放弃自己的偏见，服从在他的指示之下。”这样，这桩当时引起震动的连环辞职风波，就靠丁文江写了几封信，打了几个电报，轻而易举地解决了。
丁文江既能建立大学术，又能处理细微的人事纠纷，实在是中央研究院这个学术大家族的最合格、最成功的“大当家”。“我们没有宣战的可能”
九一八事变后，在中国，无论朝野，“对日宣战，收复失地”的呼声非常强烈。尽管独立社同人在很多问题上都存在着不同看法，但在“和与战”问题上却达到了少有的一致：他们都不主张盲目地对日宣战。在这一点上，丁文江主张尤为坚决。首先，丁文江认为，“我们没有宣战的可能”……上海事变一发生，南京政府就不能不迁到洛阳。凡日本的海军和空军力量所达到的地方当然完全是日本的俎上之肉。所以我们对日宣战，完全是等于自杀。