張知白被任命為樞密副使。宋初的政治製度，是以分散大臣權力為主要原則，宰相隻管政治，軍事則由樞密院主管。宋初雖沿唐製，也有尚書、中書、門下三省組織。但中書省獨為宰相機關，宰相不隻一人，官銜加“同平章事”的皆為宰相，加“參知政事”的為副宰相。管軍事的樞密院，主官是樞密使，次官是樞密副使。中書省與樞密院分主政治、軍事，號稱“二府”，而二府的主次官，包含同平章事、參知政事、樞密使、樞密副使，統名為執政官。張知白三年後被升為宰相，他為人很注重言行舉止，從不為一己私欲而做出有害於國家的事情。官至宰相後他從不鋪張浪費，仍然過著清貧的生活。
範仲淹聞知張知白的聲譽，給他寫了一封書信。範仲淹在上書中自稱粗聞聖人之道，“知忠孝可以奉上，仁義可以施下，功名可存於不朽，文章可貽於無窮”，並表示自己“慨然有益天下之心，垂千古之誌”。他向張知白自薦，說自己對於“稼穡之難”、“獄訟之情”、“政教之繁簡”、“貨殖之利病”各個方麵，“雖不能辨，亦嚐有聞焉”。懇請投入張知白門下，以望獲得機會受教，然後使“天下之道，可得而明”。他還提到了對現有職位的不滿，現在派他到海邊偏僻的地方，為國家監管鹽倉。管鬆了，無人懼怕法令；管嚴了，又會變成害民、與民爭利，整天與民斤斤計較。他處在“窮荒絕島”，已經是人不堪其憂，還談什麼“言天下之道”呢。但是，張知白並沒有對他的上書作出任何反應。
在範仲淹給張知白的上書中，可知他對任泰州西溪鎮鹽倉監察這個職務很不滿意。當時這個地方十分荒涼，隻是偶爾可見幾株牡丹。時而的風浪呼嘯聲和野鶴的長唳聲，使範仲淹更覺心中惆悵。他隻是負責監督淮鹽貯運轉銷的事宜，屬於閑差，便作詩自我解嘲：“卑犧曾未托椅梧，敢議雄心萬裏途！蒙叟自當齊黑白，於牟何必怨江湖，一醉一吟疏懶甚，溪人能信解嘲無？……”
範仲淹很快發現，這裏並不像當初想象的無事可做，反而要做的事情非常多。最重要的一件事是唐代曾修築的一條捍海堤堰，年久失修，已經坍圮不堪，現在百姓幾乎年年遭受海潮禍患。每年秋天，海潮泛濫時，一刮大風，潮水便怒吼著撲向海灘，衝毀鹽田鹽灶、莊稼農舍，甚至使百姓喪生。潮水過後，糧田堿化，米豆無收，成千上萬的百姓流離失所。為此，他上書給江淮漕運張綸，痛陳海堤利害，建議在通州、泰州、楚州、海州（連雲港至長江口北岸）沿海，重修一道堅固的捍海堤堰。
張綸非常讚同範仲淹的提議，並奏準朝廷，調範仲淹做興化縣令（江蘇興化），全麵負責治堰。1023年，範仲淹任興化縣令（正八品），總掌捍海堤工程。他立即從各處招來數萬名勞工修築堤堰。範仲淹以身作則，日夜和勞工們一起奮戰在修築工地，不管嚴冬還是酷暑從不退縮。他還非常關心勞工們的生活，和他們吃住在一起。天有不測風雲，這年秋末的時節，先是遭遇了寒流冰雹，接著又來了一場特大海潮。數萬民工在百裏大堤上無處可躲，許多民工四處奔逃，大部分官員都驚慌失措，不知如何是好。這時，協助指揮的滕子京卻臨危不懼，神色鎮定，迅速穩定了局麵。範仲淹對他十分讚賞，後來還和他結為莫逆之交。
這場海潮使數百勞工喪生，也衝毀了部分工程。原來就不同意修築堤堰的人就主張停工。這事情報到京師後，朝廷立即派人下來調查，幸得張綸從中解釋情況，但是否繼續修築堤堰朝廷仍舉棋不定。宋仁宗又詔令淮南轉運使胡令儀實地察訪。胡令儀曾在東台擔任過縣令，非常清楚泰州海堤的重大作用。他親自征詢範仲淹意見，範仲淹反複陳述利弊，堅持複工修築海堤，不能因噎廢食。於是胡令儀向朝廷上報了範仲淹的苦心及功績，並主張立即複工。