早在1824年12月，高堰十三堡决口，两江总督孙玉庭及河督张文浩获罪，清廷却派对河工不熟悉的林则徐办河工。林则徐心情是矛盾的。他在奏折中写道：“臣虽愚昧，具有天良，每念一介寒微，渥被圣明知遇，苟志存温饱，念重身家，是已失读书致用之本心，更何以仰酬君上？”于是毅然受命。但河工积重难返，河工之复杂绝非短期可以奏效。他深知“此工不独目前难办，抑且后患无穷”。
林则徐认为，“河工积习，尤所熟闻，将欲力振因循，首在破除情面。”林则徐的革新是把握质量；革除不称职官吏；采用以石压埽的护堤技术。他“朝夕咨访，豫东黄河多至十数厅，所储岁料数千，皆徒步抽验其虚实”。“工长万丈，盛暑烈日中，日必一周，与僚佐孜孜讲画无倦容，雨后徒步泥泞中。”
江苏的吴淞江、黄浦江和娄江（刘河）总称三江，经常淤塞成灾。林则徐此时极力提倡疏浚刘河、吴淞和黄浦三江，“俾资宣泄，旱涝有备”，目的在于解决太湖泄水问题。刘河源出太湖东北，绕太仓，经镇洋、嘉定入海，全长七八十里；白茆河在常熟、昭文两县境内，长五六十里。林则徐首倡其事，深得道光帝大加赏识，批曰：“即朕特派，非伊为谁？所请甚是。”
可是，由于林则徐母病故，他离职回榕，这项水利工程，仅疏浚黄浦江辄止。再加上三江疏导工程需银40余万两，“频年筹措维艰”，不得不中途停辍。
1831年11月，道光帝又将治黄河的事交他去办，任命为河东河道总督。林则徐以坦诚的态度向道光帝奏称：他“不谙河务”。他说：“不特河防形势未及讲求，即土埽各工作法亦未目睹。……况河工事务，与地方不同。地方有利当兴，有害当除，所见未真，可待从容察看，纵一时一事受人蒙蔽，而挽回补救，犹可徐图。河工事多猝来，计不旋踵，苟胸无定见，一事被蒙，毫厘之差即成千罩之谬。若以为尽不可信，动辄驳饬，则又恐是非颠倒，缓急混淆。设或猝遇险工，束手无策，游移牵掣，致失机宜，彼时即将臣从重治罪，在臣之一身固不足惜，而糜帑病民，贻误河防大计，上何以对君父，下何以对生灵，一念及此，不胜股栗。”这道出了不懂工程技术可能遇到的种种问题，是实情。但从中也反映了林则徐对事、对民的高度责任感。像林则徐这样具有责任感的官吏真是凤毛麟角。
道光帝却从另一个角度考虑：由于河务是个肥缺，官吏贪污已成痼疾。道光帝称：“朕原恐熟悉河务之员深知属员弊窦，或意存瞻顾，不肯认真查出，林则徐非河员出身，正可厘剔弊端，毋庸徇隐。”可见道光帝对林则徐的信任。林则徐表示：“臣惟有自持刻苦，不避怨嫌，以防意者防川，以纠心者纠吏，务冀弊除帑节，工固澜安”。林则徐以高度的责任感，接受了道光皇帝的谕旨。
林则徐一上任，便专心学习，掌握情况，“绘全河形势于壁，孰险孰夷，一览而得。”这在一百多年前是一个值得称赞的创造，表现了林则徐经世务实的作风。
繁忙的冬季河务工程全面展开：
视查运河冬挑工程。他在冰天雪地，亲自“周历履勘”，并令“运河道李恩绎督同各该厅营按段签钉志桩，埋记灰印”。对不称职的监督工程的官员主簿徐恂摘去顶戴，责令挑工返工再挖，务使一律均匀。
查验垛料。林则徐十分重视垛料的质量。他称：“臣于河务未能谙悉，必须将各工形势细加体察，咨访研求，每到一工，即不敢忽略走过”。沿河两岸，共有七千余垛，除了令下属官吏检验之外，均一一“细加拆验，计束称斤”，“总于每垛夹档之中，逐一穿行，量其高宽丈尺，相其新旧虚实，有松即抽押，有疑即拆，按垛以计束，按束以称斤，无一垛不理，亦无一厅不拆，兵夫居民观者如堵，工员难以藏掩”。作为地位不低的清朝官吏，这样认真、细心办事，严肃官风，在古今中外，也是少见的。
修缮山东省洳河、浦河、上河三处的闸座工程。运河长达千余里，全靠堤、堰、闸、坝等设施蓄收，“以利运行而资纤挽”。三闸年久失修，底桩腐朽渗漏。在修缮中，林则徐亲自掌管财政，“随时切实勘减，可省即省，断不任以可缓之工浮估滥报”。
推广“碎石护堤工程”。用碎石防护河堤始于1822年，严烺在兰仪厅试行，收到意外的效果，到1831年，也在河南各厅推行。道光帝提出“此项碎石工程是否于黄河有益？如果有益，何以岁料并不见节省”？林则徐通过调查，非常慎重、严肃的论证之后，得出这一科学结论：“碎石斜分入水，铺作坦坡，既以偎护埽根，并可纡回溜势”，“是碎石之于河工有益，实可断为必然”。