当清军在南京溃败的消息传来之后，江西也笼罩在一片阴沉的气氛当中。新巡抚毓科、署理布政使李桓也劝告沈回来，特别是毓科，想要沈负责浙赣走廊，即使这意味着将别人调开。鉴于沈葆桢过去和这个地区的关系，这是个稳妥的想法。曾国藩显然考虑，如果沈回到广信，就算是短暂的，也可以帮助李元度，因为曾认为李难于驾驭他的下属。然而，沈决心仍留在家乡服侍双亲。
到了6月21日，曾国藩和胡林翼分别请求清廷下诏令要沈回来。胡提议让沈担任省的布政使（从二品）或按察使（正三品），尽管他只当过两年的道台（正四品）。胡向曾表示，鉴于沈过去在江西工作，由他担任江西布政司最合适。也许清廷觉得胡的建议会给沈的官阶跃升过大，因而赞成曾的意见，命令沈回到广信。沈再一次婉辞，不过，他表示如果他能够每年一次回乡看望双亲，他愿意投效朝廷，做曾的私人助手（幕友）。
其他高级官员也希望沈重新为朝廷效劳。比如，第二次鸦片战争之后权势急骤增长的大学士文祥即推荐沈担任“实职”。工部侍郎宋晋像是在附和胡林翼的建议，也推荐沈担任江西省的布政使。1861年年末，在初次试图请沈出来工作之后的第18个月，朝廷指示沈到曾营“听候录用”。同时指示曾国藩考察江苏、浙江现任巡抚的能力。虽然朝廷的意图未必会让沈担任这两省的巡抚，但是，朝廷越来越渴望找到能干的人，给予沈这样的官职并非完全不在考虑之列。曾认为李鸿章是更有天赋的军事首领，更喜欢让李来担任江苏的职务。1862年1月17日，沈往曾营途经安徽南部，朝廷任命他为江西巡抚（从二品）。这时他41岁。
这样，沈葆桢担任知府和道台总共不到4年时间，又经过两年半休假，便跃上了巡抚的高位。如果他升任巡抚之前先担任江西省的按察使或布政使，则和当时的惯例更相符。他的飞速提升是不是曾国藩支持的结果？1856年他在曾之下干过短暂的时间，这无疑对其升迁有所帮助，至少曾及其同僚们对沈有过直接的了解。1860年五六月间紧急会议的关键人物几乎都是曾的幕友。然而，文祥、宋晋、胡林翼这些人和沈毫无联系或极少联系，但都推荐他担任高级职务。这三人中，只有胡林翼和沈有些间接关系——胡在贵州任知府时，林则徐在当总督。实际上，沈迅速晋升，庇护人的作用较小，更重要的是他本人的才能和声誉，加上形势的迫切需要。他的才能已经得到证实，声誉主要来自传奇式地保卫广信。不论何种原因，凡是在他的提升中助了一臂之力的人都对他有很高的期待，曾国藩无法如此，因为曾和江西的官员曾经有过种种摩擦。
按曾的方案，江西是对太平军作战的前线。作为军需供应的主要来源地，它的安全和高效率的内部行政分不开。为了满足他的需要，新任巡抚必须赢得省里官员和士绅的效忠，要使他们相信，他们的利益与完成对曾的义务（简而言之，也就是对皇帝的义务）相一致。沈一到任，马上就认识到他的主要任务，他发誓尽最大努力为皇帝服务，并且遵守忠孝的原则。
但是，在儒家思想中，忠孝原则在观念上是一致的。事实上包含着大跨度的互相矛盾的忠。忠于公共福利和仁政之类崇高原则，忠于皇帝、其他掌权者以至士绅阶级这类政治势力，两者往往不容易调和。1854年，沈已经为了保卫普通大众的福利而反对通货膨胀政策。其后作为道台，他因曾国藩的利益和江西省之间的冲突而处于为难境地。
广义上说，一省巡抚的基本职责是：监督官员、维护法律公正、征税、增进公共福利、消除罪恶和腐败行为，此外按儒家的说法，还要安抚百姓。如此艰巨的任务，不可能由巡抚和他的班子去承担。地方官员，特别是知县，才是实际上处理民众事务的人。然而，沈葆桢深信，一个有能力的巡抚应当诱导好的政府深入地方一层，能够运用他的立法权力来加强个人力量。在这个意义上，巡抚应当将全省的福利担当起来。
巡抚对其下属的权力是相当大的。他手下的最高官员——布政使和臬司，都由他亲自定期进行考核。他一方面依靠其他官员对官僚机构中的低级人员的情况作出判断，同时巡视省内各地以获得直接的信息，随后进行赏罚。再者，他对某些范围内的官职可以提出候选人。虽然如此，所有人事变动还是必须听命于中央政府，而且绝不是例行公事，任何背离既定规矩或惯例的事将受到责问。对于巡抚，如同所有官员一样，都将会被视为严重越轨而受到弹劾。
在理论上，政府的终极目标在于改善人民生活、促进农业、增进道德水平。实际上，正如沈所理解的，一个巡抚关心人民经济状况和要求公平正义，可能和提高政府财政收入的要求相冲突。这不仅是财政问题，因为他执行政府方针时在很大程度上要依赖人民的忠心和支持。
提高公共道德是一项无形的也是难以完成的任务。传统的办法是坚持政府的正统性和提倡儒家学说，尤其是在学者——士绅阶层，使他们能成为榜样。官员的严正，包括巡抚本身，被认为有同样的效果。沈声称，假如目的和手段都反映了我们所设想的儒家理想，两者就将对更有秩序的社会和更少腐化的官僚政治起到一定的作用。
如果劝说的力量和司法程序失效，那么，巡抚可以动用武力。可供他调遣的有省里的绿营，其基本任务是作为一支保安队。如果骚乱扩大，他就得求助于巡抚卫队（府标），其人数在1000～2000人。在江西，巡抚的军事责任更大，因为他也是军事总指挥。虽然在他指挥之下的部队数量远远小于大多数邻省，要镇压大规模的起义只得依靠外来武力的帮助。
1860年以来，长江和内地开始对外国旅行者和船只开放，江西巡抚也要处理外国事务。
省一级的行政事务常常由于巡抚和总督之间的关系而复杂化。在大多数情况下，这两个官员大体上同级，但江西巡抚在某种程度上隶属于两江总督，所以遇到重大事项，总督的认可必不可少。总督所在地南京和江西省会南昌遥遥相隔，巡抚因此有少量的自主权。然而，19世纪60年代初期，曾国藩拥有大权，他的大本营位于附近的安徽南部，这大大增加了他干预江西事务的能力。因此我们研究沈的巡抚之职，也要专注于他和他的庇护者之间的潜在敌对关系，以及他们对有限资源的争执。
尽管清王朝的统治者们忙于军务，沈仍然强调省级政府应把民政放在首位。在某种意义上，他的态度可以看作是对严峻现实的合理态度。当曾国藩、左宗棠的部队逐渐向南京推进，他这个省的防卫本已不足，现在变得更加薄弱。然而江西财政本已窘迫，现在还得承担支持曾、左的繁重任务，这就从根本上排除了任何有意义的军事集结的可能。沈的解决办法是提高政府运作质量。他认为，如果审慎地挑选地方官，老百姓的苦难就会减轻，这样，至少省里就有可能重建军事力量，增加财政资源用于军事目的。目前，江西只能在不增加开支的情况下勉强使现有军事力量有所增强——途径是慎重选择军事人员，训练军事首领。
沈葆桢不仅想到了权宜之计，他还深信民政极其重要。这件大事久久盘踞在他的心中，于是在1863年出版了《居官圭臬》（给在位者的箴言）一书。书中，他强调服务的第一要义：“为官一日，要行一日好事。”和士绅以及普通人相比，“官肯着意一分，民受十分之惠”。要服务得好，一个官员必须不腐化，要勤勉，决策和用人之时要十分谨慎，又要自我警醒：“做官常知不能尽其职。”在这本书中和别的地方，沈重申传统名言，知府和知县都是儒家官僚政治轮子上的嵌齿，“父母官”所处的地位能做很多好事，也能极大地伤害人民。
沈葆桢进一步声称：“当内政失常，天下大乱之时，一个好知府比一个好将军更有价值，因为知府的仁政可以将坏事消灭在萌芽状态，而军事力量只能对付普遍不满所引发的病症。”这是很好的想法，但是形势往往不允许政府采取这种做法。尽管1862年以来清朝的命运有所改善，但是江西仍然时常受到种种威胁。不久沈就发现，他的时间太少，而面临的任务却很艰巨。
沈葆桢对省级政府的看法是：所有机构都重要，各有特定职能。他忠实于儒家信仰，强调挑选人才的重要性。但是，作为一个富有地方行政经验的人，他又相信外放官员的时候，他们的才干和职位一定要相称。和他对行政的看法相一致，他认为挑选地方官员时这一点特别重要，因为只有有德行的官员才能给人民带来太平。他在担任江西巡抚的几个月内，不顾吏部的反对，将吉安和南康的知府互调，理由是出于他们各自能力的考虑。吉安知府有理解力，谨慎，尽责，但是无力应付玩忽职守的官员以及世仇、械斗、抗税、把持衙门的讼棍。吉安名声不佳，即使在最好的年代里也是难治理的府。相比之下，南康知府真诚、廉洁、聪明、果断，是全省最卓越的知府，让他管理一个小而简单的府，则大材小用了。从儒家德行来说，两人差别不大，然而他们的能力有很大差距，沈坚信互换职务将产生有益后果，故他未经北京批准就径自施行。当地记载表明，在沈实施这一措施后，吉安情况得到了显著改善。
当然，儒家教条主义者主张德和才是同义语。沈是务实的，而非正统的，他显然看出了两者的区别，并据以实行人事调动体现出来。但是，类似的行政措施所应用的范围有限，正如他所认识到的，巡抚的主要任务还是在于解决吏治不修的问题。