通州的地勢比大都低，因此要開運河，隻能從大都引水流往通州。這樣，就非在大都城周圍找水源不可。大都城郊最近的天然水道有兩條：一條是發源於西北郊外的高梁河，另一條是水源從西南而來的涼水河。然而這兩條河偏偏都水量很小，難以滿足運河的水源需要。大都城往北幾十裏，有清河和沙河，水量倒是較大，卻因地形關係，都自然地流向東南，成為經過通州的溫榆河的上源。水量最大的還數大都城西幾十裏的渾河 （今永定河）。金朝時候，曾從京西石景山北麵的西麻峪村開了一條運河，把渾河河水引出西山，過燕京城下向東直注入通州城東的白河。但這條運河容納了渾河水中攜帶來的大量泥沙，容易淤積。到夏、秋洪水季節，水勢極其洶湧，運河極易泛濫。這樣，運河對於京城反是一個威脅。開鑿之後隻過了15年，就因山洪決堤，不得已又把運河的上遊填塞了。這是一次失敗的經驗。然而，陸運耗費的巨大，始終在促使著人們去尋求一條合適的水道。這個任務，到郭守敬的時候才得到完成。郭守敬的開河事業也不是一開始就順利進行的。他也經過了多次的失敗，最後才找到了正確解決的辦法。金朝開挖的那條運河，正流經大都城城牆的南麵。利用這條被廢棄的運河，當然是最經濟最簡捷的辦法。至少，大都城以東的那一段是完全可以利用的。因此，擺在郭守敬麵前的問題就是如何解決這段運河的水源。
郭守敬提出的第一個方案就是他在 1262年初見元世祖時所提出來的六條水利建議中的第一條。在大都城的西北，有座玉泉山。玉泉山下迸湧出一股清泉。這股清泉流向東去，並分成南北兩支。南麵的一支流入甕山（今萬壽山）以南的甕山泊（今昆明湖的前身）。又從甕山泊東流，繞過甕山，與北麵的一支會合，再向東流，成為清河的上源。郭守敬的計劃是使進入甕山泊的這支泉水不再向東，劈開它南麵高地的障礙而引它向南，注入高梁河。高梁河的下遊原已被金人攔入運河。這樣，運河的水量就得到了補充。
當時，元世祖接受郭守敬的建議，下令實施這個計劃。但是結果並不合於理想。因為引來增加水源的究竟隻有一泉之水，流量有限，對於數額巨大的航運量仍難勝任。事實上，引來的泉水隻夠用來增加大都城內湖池川流的水量，對於恢複航運沒有多大幫助。這又是一次失敗的經驗。郭守敬仔細研究了這次失敗的原因。顯然，關鍵問題還是在於水量不足。他想：京郊河流中水量最大的是那條渾河，為什麼不利用渾河的河水呢？3年以後，就在他從西夏回來以後的那一年，他提出了開辟水源的第二個方案。他認為可以利用金人過去開的河道，隻要在運河上段開一道分水河，引回渾河中去；當渾河河水暴漲而危及運河時，就開放分水河閘口，以減少進入運河下遊的水量，解除對京城的威脅。這算得是個一時有效的辦法。所以說“一時有效”，那是因為這裏還有個泥沙淤積問題，日子一久還是要出岔子的。看來，郭守敬也考慮到了這一點，所以他並沒有在運河上建立閘壩，因為閘壩會阻礙泥沙的衝走。但是接著又發生了一個他所估計不足的問題。原來從大都到通州這段運河的河道，雖不如大都以上一段那樣陡峻，但那坡度卻仍然是相當大的。河道坡度大，水流就很急，沒有水閘的控製，巨大的糧船自然無法逆流而上。結果，這條運河在1276年開成以後，隻能對兩岸的農田灌溉以及從西山砍取木材的順流下送，起相當的作用；至於對大都運糧，還是無濟於事。
兩次工程都沒有達到預期的效果。郭守敬並沒有灰心，卻更深入細致地分析了兩次失敗的原因。他認識到過去的設計思想帶有頗大的片麵性，今後的計劃必須把水量、泥沙及河道坡度等種種因素結合起來，作一個通盤的考慮。在以後的幾年中，他仔細地勘測了大都城四郊的水文情況和地勢起伏。隻是後來他被調去修曆，才把運河工程的規劃擱了下來。
1291年（至元二十八年），有人建議利用灤河、渾河作為向上遊地區運糧的河道。元世祖一時不能決斷，就委派正在太史令任上的郭守敬去實地勘查，再定可否。郭守敬探測到中途就發覺這些建議都是不切實際的。他乘著報告調查結果的機會，同時向政府提出了許多新建議。他這許多建議中的第一條就是大都運糧河的新方案。
這個經過實地勘測、再三研究而提出的新方案，仍然利用以前他那個試行方案中鑿成的河道，但是要進一步擴充水源。擴充的辦法是把昌平地方神山（今鳳凰山）腳下的白浮泉水引入甕山泊，並且讓這條引水河在沿途攔截所有原來從西山東流入沙河、清河的泉水，彙合在一起，滾滾而下。這樣一來，運河水量可以大為增加。這些泉水又都是清泉，泥沙很少，在運河下遊可以毫無顧慮地建立一係列控製各段水位的閘門，以便糧船平穩上駛。這是個十分周密的計劃。元世祖對它極為重視，下令重設都水監，命郭守敬兼職領導，並且調動幾萬軍民，在1292年（至元二十九年）春天，克日動工。這條從神山到通州高麗莊，全長160多華裏的運河，連同全部閘壩工程在內，隻用了一年半的時間，到1293年秋天就全部完工了。當時，這條運河起名叫通惠河。從此以後，船舶可以一直駛進大都城中。那時大都城裏作為終點碼頭的積水潭 （今此潭還在，隻是已經淤縮成一個小池潭了）上，南方來的糧船雲集，熱鬧非常。這樣，非但解決了運糧問題，而且還促進了南貨北銷，進一步繁榮了大都城的經濟。從科學成就上來講，這次運河工程的最突出之點是在於從神山到甕山泊這一段引水河道的路線選擇。
從神山到大都城的直線距離是60多華裏。白浮泉發源地的海拔約60米，高出大都城西北角一帶最高處約10米。看起來，似乎完全可以沿著這條最短的直線路徑把水引來。但實際上這條直線所經地區的地形不是逐漸下降的。由沙河和清河造成的河穀地帶，海拔都在50米以下，甚至不到45米，比大都城西北地帶的地勢都低。如果引水線路取直線南下，泉水勢必都將順著河穀地帶一瀉東流，無法歸入運河。郭守敬看到這一點，所以他所選定的線路就不是直通京都的。他先把白浮泉水背離著東南的大都引向西去，直通西山山麓，然後順著平行山麓的路線，引往南來。這樣，不但保持了河道坡度逐漸下降的趨勢，而且可以順利地截攔、彙合從西山東流的眾多泉水。從後來通航的事實證明，舍棄那條直線，采取這條迂回西山下的線路，確是十分合理的。要知道，在60多華裏長的路程上，僅僅幾米的高低起伏，那實在是非常微小，不是人眼所能直接看出的。從這取舍之間，可以看出郭守敬對大都城和它四周地區的地形測量，是下過很深的功夫的。通惠河開通以後，郭守敬一直兼任天文和水利兩方麵的領導工作。
1294年，他升知太史院事。但是關於水利方麵的工作，當時政府仍經常要征詢他的意見。1298年（元成宗大德二年），政府決定在上都附近開一道渠，元成宗召郭守敬去商議。郭守敬就去當地查勘了地形，了解了雨量情況，發現這條河道近山，所經地區的年雨量雖不多，卻很集中，大雨連日的時候山洪非常凶猛。他認為，縱然河道平時的流量不大，河道本身也一定要寬達50～70步。當時主管其事的官員目光短淺，認為郭守敬把雨季的流量估計得太大，處理這事太小心了，竟把郭守敬所定的寬度消減了1／3。河渠開通的下一年，一到大雨時節，山洪順河直衝下來，河身狹窄，容納不下洪水，兩岸泛濫成災，漂沒了人、畜、篷帳不計其數，幾乎衝毀了元成宗的行宮。元成宗被迫北遷避水時，想起了郭守敬去年的預言，不由得對左右感歎：“郭太史真是神人呐。可惜沒有聽他的話！”從此以後，郭守敬的聲望更加高了。1303年，元成宗下詔，說凡是年滿70歲的官員都可以退休，獨有郭守敬，因為朝廷還有許多工作都要依靠他，不準他退休。
元成宗之後，元朝政權迅速腐朽，統治集團內部鬥爭日益劇烈，生活上窮奢極欲，荒唐到極點，把元世祖時代鼓勵農桑的這點積極因素拋棄淨盡了。在這種情況下，郭守敬的創造活動自然也受到極大的限製。同他當時不斷提高的名望相對照，他晚年的創造活動不免太沉寂了。除了在1298年建造了一架天文儀器——靈台水渾以外，就再沒有別的重大創製和顯著表現了。可以設想，如果他晚年能夠有較好的社會政治條件，可能還有更大的貢獻。
1316年（元仁宗延祐三年），為祖國的科學事業辛勞了60多年的郭守敬去世了，享年86歲。為了紀念他，目前邢台市最主要的一條街道命名為“郭守敬大街”。