張之洞提出的京漢鐵路在1896年進入建設實施階段，此事在當時的中國引起了修築鐵路的熱潮，全國上下在心理上都不再排斥鐵路，民間資本也躍躍欲試，想要進入鐵路領域。於是，京漢鐵路的修築計劃敲定之後，粵漢鐵路也被提上議程。最初的粵漢鐵路是計劃從武漢經江西進入廣東。但是，湖南當地鄉紳強烈呼籲將粵漢鐵路改為經湖南進入廣東，他們指出，江西地勢不利於修築鐵路，而且，鐵路經江西進入廣東線路比經湖南進入廣東要長。張之洞等人在經過分析後認可了湖南方麵的提議，決定將粵漢鐵路改為由湖南進入廣東。
湖北、湖南、廣東三省的民間人士對於粵漢鐵路的修築計劃都很支持，他們還提出由他們自行籌款，修築這條從廣州到武漢的鐵路。這條鐵路將連接廣州、長沙、武漢，其重要性不亞於京漢鐵路。鐵路全長也將超過1000公裏，僅次於京漢鐵路的長度。對於民間資本修築鐵路，張之洞並不反對。他當時就曾想過籌集民間資本修京漢鐵路，隻是清政府民心大失，得不到民間的響應。張之洞雖然不反對民間資本進入鐵路領域，但是，他懷疑民間是否有足夠的財力來承擔這麼龐大的工程。他主張和修京漢鐵路一樣，采用官督商辦的辦法，由官府出麵，找商人來代辦。
對於修築粵漢鐵路，朝廷是讚同的。朝廷準許鄂、湘、粵三省的民間資本來辦，但是要由官方來主持。朝廷此舉，一則可以避免路權被洋人把控，二則能夠減輕朝廷的負擔。
然而，民間資本太過分散，而且確實也難以應對粵漢鐵路這種龐大的工程。1898年，朝廷決定按照辦京漢鐵路的辦法辦粵漢鐵路。也就是說，朝廷不再寄希望於民間資本辦鐵路了，最終還是要靠借洋債來辦粵漢鐵路。
辦京漢鐵路時張之洞以為找比利時這樣的小國可以減少政治上的糾葛，誰曾想法、俄等國暗中插手，損害了中國的路權。有鑒於這樣的教訓，張之洞決意辦粵漢鐵路時，一定要擺脫英國、法國、德國等國的幹擾。當時，在華的西方列強以英、法、德、俄勢力最大，政治目的最明顯，如果任由他們進一步控製中國的鐵路，那麼，他們的勢力必然要大漲，中國也就更加危險。經過一番考量，張之洞等人認為在列強當中，由美國辦鐵路，相對來說更合適。
當時美國的工業水平已經處於領先地位，不過，那個時候的美國還沒有對外擴張，其原因主要是擴張的時機尚不成熟。當時，對外，有英、法這樣的老牌資本主義國家的壓力；對內，美國還在忙著和墨西哥的領土紛爭。總之，當時的美國暫時對中國還沒有太大的野心。張之洞認為，和美國人辦鐵路，一來可以製衡英、法等國；二來也能減少政治上的損失。
確定了借款方向之後，1898年由盛宣懷出麵，經駐美大使伍廷芳聯絡，一下子就向美國方麵借了400萬英鎊，相當於2800萬兩白銀。在借款之前，張之洞等人看到美國對中國暫時沒有表現出太大的野心，但是，沒有表現出野心不等於沒有野心。和美國人談判借款時，他們的條件不比英、法少，唯一讓人稍感心安的是，美國還沒有占領中國的土地。在合同裏，美國人要求派美方人員參與線路勘探、築路，還要由他們控製火車的運營。中國若要收回路權，必須先將借款全部償還。和美國的合同雖然有諸多苛刻條款，但是張之洞還是咬牙簽下了，畢竟，這在當時的條件下，已經是最有利的選擇了。
然而，合同簽訂之後，美國方麵並沒有開始工程建設，他們提出，經過勘測，400萬英鎊遠遠不夠修這條鐵路，要想修成鐵路，款項必須加倍。另外，他們還要求清政府準許他們在鐵路沿線開礦，同時，還得把鐵路延伸到香港的九龍半島。
美國人得寸進尺、貪得無厭，這讓張之洞十分反感。但是，個人情緒終究要服從於整體的戰略布局。張之洞想通過由美國人修粵漢鐵路來牽製英、法、俄在中國的擴張，而且，修成粵漢鐵路，也確實有利於中國的發展。1900年，八國聯軍侵華，清政府希望用粵漢鐵路換取美國的支持。而負責與美國人協商具體合同條款的伍廷芳也擔心美國人再次變卦，提出更苛刻的要求。多方權衡之後，朝廷同意了美國人修改合同的要求，張之洞、李鴻章、盛宣懷等人急電遠在美國的伍廷芳，通知他可以和美國方麵簽約。1900年7月，新的合同正式簽訂。
這一合同與原來的條約相比，借款額度由原來的400萬英鎊變成4000萬美元，折合銀兩5300萬兩。合同還給了美國人很多的壟斷權利，例如，不許中國方麵再修築可以和粵漢鐵路爭奪生意的新鐵路，不能修築和粵漢鐵路平行的鐵路。合同裏雖然沒有明確答應美國人要求的在鐵路沿線采礦的權利，但是卻準許美國人在鐵路沿線駐兵保護鐵路，同時，還準許美國人在鐵路沿線發展與鐵路相關的企業。同時，合同裏也明確規定，這條鐵路必須由美國方麵修築，美國不得轉讓鐵路的修築權，這就把美國和粵漢鐵路綁到了一起。由此，粵漢鐵路沿線成了美國的勢力範圍。