张知白被任命为枢密副使。宋初的政治制度，是以分散大臣权力为主要原则，宰相只管政治，军事则由枢密院主管。宋初虽沿唐制，也有尚书、中书、门下三省组织。但中书省独为宰相机关，宰相不只一人，官衔加“同平章事”的皆为宰相，加“参知政事”的为副宰相。管军事的枢密院，主官是枢密使，次官是枢密副使。中书省与枢密院分主政治、军事，号称“二府”，而二府的主次官，包含同平章事、参知政事、枢密使、枢密副使，统名为执政官。张知白三年后被升为宰相，他为人很注重言行举止，从不为一己私欲而做出有害于国家的事情。官至宰相后他从不铺张浪费，仍然过着清贫的生活。
范仲淹闻知张知白的声誉，给他写了一封书信。范仲淹在上书中自称粗闻圣人之道，“知忠孝可以奉上，仁义可以施下，功名可存于不朽，文章可贻于无穷”，并表示自己“慨然有益天下之心，垂千古之志”。他向张知白自荐，说自己对于“稼穑之难”、“狱讼之情”、“政教之繁简”、“货殖之利病”各个方面，“虽不能辨，亦尝有闻焉”。恳请投入张知白门下，以望获得机会受教，然后使“天下之道，可得而明”。他还提到了对现有职位的不满，现在派他到海边偏僻的地方，为国家监管盐仓。管松了，无人惧怕法令；管严了，又会变成害民、与民争利，整天与民斤斤计较。他处在“穷荒绝岛”，已经是人不堪其忧，还谈什么“言天下之道”呢。但是，张知白并没有对他的上书作出任何反应。
在范仲淹给张知白的上书中，可知他对任泰州西溪镇盐仓监察这个职务很不满意。当时这个地方十分荒凉，只是偶尔可见几株牡丹。时而的风浪呼啸声和野鹤的长唳声，使范仲淹更觉心中惆怅。他只是负责监督淮盐贮运转销的事宜，属于闲差，便作诗自我解嘲：“卑牺曾未托椅梧，敢议雄心万里途！蒙叟自当齐黑白，于牟何必怨江湖，一醉一吟疏懒甚，溪人能信解嘲无？……”
范仲淹很快发现，这里并不像当初想象的无事可做，反而要做的事情非常多。最重要的一件事是唐代曾修筑的一条捍海堤堰，年久失修，已经坍圮不堪，现在百姓几乎年年遭受海潮祸患。每年秋天，海潮泛滥时，一刮大风，潮水便怒吼着扑向海滩，冲毁盐田盐灶、庄稼农舍，甚至使百姓丧生。潮水过后，粮田碱化，米豆无收，成千上万的百姓流离失所。为此，他上书给江淮漕运张纶，痛陈海堤利害，建议在通州、泰州、楚州、海州（连云港至长江口北岸）沿海，重修一道坚固的捍海堤堰。
张纶非常赞同范仲淹的提议，并奏准朝廷，调范仲淹做兴化县令（江苏兴化），全面负责治堰。1023年，范仲淹任兴化县令（正八品），总掌捍海堤工程。他立即从各处招来数万名劳工修筑堤堰。范仲淹以身作则，日夜和劳工们一起奋战在修筑工地，不管严冬还是酷暑从不退缩。他还非常关心劳工们的生活，和他们吃住在一起。天有不测风云，这年秋末的时节，先是遭遇了寒流冰雹，接着又来了一场特大海潮。数万民工在百里大堤上无处可躲，许多民工四处奔逃，大部分官员都惊慌失措，不知如何是好。这时，协助指挥的滕子京却临危不惧，神色镇定，迅速稳定了局面。范仲淹对他十分赞赏，后来还和他结为莫逆之交。
这场海潮使数百劳工丧生，也冲毁了部分工程。原来就不同意修筑堤堰的人就主张停工。这事情报到京师后，朝廷立即派人下来调查，幸得张纶从中解释情况，但是否继续修筑堤堰朝廷仍举棋不定。宋仁宗又诏令淮南转运使胡令仪实地察访。胡令仪曾在东台担任过县令，非常清楚泰州海堤的重大作用。他亲自征询范仲淹意见，范仲淹反复陈述利弊，坚持复工修筑海堤，不能因噎废食。于是胡令仪向朝廷上报了范仲淹的苦心及功绩，并主张立即复工。
1024年范仲淹迁大理寺丞，仍任西溪盐监。这年，范仲淹第一个儿子出生了，取名叫范纯佑。
1026年8月，范母病逝，范仲淹闻讯悲痛不已，立即赴南都睢阳奔丧。按北宋规定，官员为父母守丧要27个月。范仲淹心中仍惦念着复工海堤工程，又给张纶写信，鼓励张纶坚持把海堤工程完成。张纶三次上书朝廷，自请知泰州府，负责海堤工程。1028年7月，长达150余里的捍海大堤终于修成了。为纪念范仲淹的功绩，百姓都把这条海堰叫做“范公堤”。
海堤的修复，解决了沿海各州县百姓的海潮之患，保护了泰州、海州、通州、楚州数十万百姓的生命财产和大面积的盐场粮田。往年受灾流亡的数千民户，又扶老携幼返回家园。此后，堤东产盐，堤西种田，盐税与田赋收入也增加了。张纶和胡令仪都因筑堤有功而升迁。当地百姓在东台建“三贤祠”，纪念张纶、胡令仪、范仲淹三人。
任教应天府书院
范仲淹为服母丧，回到了南京府居住。这时，他遇到了对他以后的命运起着至关重要作用的一个人，这个人就是晏殊。
晏殊聪明过人，小时就有“神童”之称。14岁时与来自全国各地的千名考生同时入殿参加考试，他从容应试，受到宋真宗的嘉赏，赐同进士出身。后升至枢密副使。1027年，因忤逆刘太后旨意，被贬到应天府。他生性刚简，奉养清俭，喜欢接纳贤者。
晏殊听说范仲淹通晓经学，德行俱佳，就以南京留守的身份，聘请范仲淹主持应天府书院的教务。范仲淹欣然同意，还把富弼推荐给晏殊。
办教育一向被范仲淹认为是最基本也是最重要的工作。他一生中，不论被派到哪儿任职，都不忘在教育方面注入全力。范仲淹在应天府教学的情形，极为后世所称道。他不但重言教，而且以身教；不但传授学问，而且指导生活。为了便于教学，范仲淹与学生们住在一处。他制定了一套学习时间表，严格按表规划学生的作息。还经常深入宿舍，检查和责罚那些偷懒嗜睡的人。每次给学生命题作赋，他必定先作一篇，以掌握试题难度和着笔重点，使学生迅速提高写作水平。
应天府书院的学风，很快就焕然一新，四方前来就读的人络绎而至。范仲淹热诚接待前来求学的人，孜孜不倦地为他们讲授学业。有时还用自己微薄的俸禄招待他们吃饭，以致自己家中生活窘迫不堪。
一次，有位游学乞讨的姓孙名复的秀才，前来拜谒他。临别时，范仲淹送了他1000文钱。过了一年，孙秀才又来拜谒，范仲淹在送钱给他后，问他为什么要四处乞讨不静心读书，孙复悲戚地说，家中有母亲需要赡养，如果每天能有100文钱的收入，就可以安心读书了。于是范仲淹就帮他在学院里找了个职事，一月有3000文钱。孙复感激不尽，从此专心跟着范仲淹攻读《春秋》。后来范仲淹离开书院后，孙复也辞去职事。十年之后，朝野上下传诵着有位德高望重的学者，在泰山招收学生，教授《春秋》。山东著名的徂徕先生石介也是他的学生。这位学者，便是当年的孙复。
范仲淹对这件事非常感慨，他说，贫穷是大灾难，倘若当时没有及时帮助孙复，使他一直乞讨到老，今天就会少了一个杰出的人才。除了孙复之外，范仲淹帮助过许多后来成名的读书人，如胡瑷、李觏、张载、石介等。有的人受他聘请主持教务，有的人受他举荐出任为官，有的人受他指导成为赫赫有名的学者。