上部結構為穿式鋼桁架，計5跨，每跨跨徑45.9米，全長233.50米，總寬8.36米，其中車行道寬6米，兩側人行道各寬1米，桁架高5.1米，橋架橫梁為鋼梁，欄杆由角鐵及鋼管焊接而成；下部構造：南北兩岸橋台為水泥砂漿砌條石，中間四個橋墩為高強快凝水泥砌料石重力式橋墩，沉井基礎開挖至岩層。設計荷載為通行馬車。
鐵橋所用桁架構件鋼材、水泥及其他各種器材、機具設備等，均由德國泰來洋行從德國購置（合同如此規定，實際購自何國，尚不清楚，也有說購自美國的，不管何說，材料購自歐美是無疑的），於光緒三十三年五月（1907年6月11日～7月9日）全部海運至天津，自天津經京奉鐵路運至豐台火車站，再由京漢鐵路運至河南新鄉火車站。新鄉取道西安至蘭州，均用馬車運輸。由甘肅洋務局派員辦理材料轉運事務，天津、新鄉、西安派駐材料接運委員，蘭州設置收料委員會，主持收料事宜。新鄉至西安由直、魯、豫、陝4省大車夥運，西安至蘭州由蘭州車戶王新年獨運。整個材料機具設備分36批，自光緒三十三年八月（1907年9月8日～10月6日）起運，次年五月（1908年5月30日～6月28日）止，曆時10個月，途經數省，將總計2000噸鋼材零部件、設備、機具等運至蘭州，創造了近代運輸史上的奇跡。
鐵橋於光緒三十四年二月（1908年3月3日～3月31日）開工，美國工程師滿寶本為施工技術負責人，德國工程師德羅負責收管材料、統計施工進度等，天津人劉永起為工地現場技術負責人，從天津、上海等地招來技術工人10餘人，雇用蘭州鐵、木、泥工匠60餘人及小工百餘人，最多時達500餘人參加施工。宣統元年六月（1909年7月17日～8月15日）竣工，驗收通車。
鐵橋竣工後，升允於宣統元年六月撰文立碑，以記其始末。此碑現立於中山橋北水榭式廣場西端。初名蘭州黃河鐵橋，民國三十一年（1942年）改名中山橋，以紀念孫中山先生。一說改名於民國十七年（1928年）。
中山橋（蘭州黃河鐵橋）是當時黃河上遊唯一一座永久性跨黃河橋梁，是繼1905年鄭州黃河鐵橋建成後，在萬裏黃河上架設的第二座大橋，號稱黃河第一橋。在貧窮落後的舊中國，它與濟南黃河鐵橋（1912年建）、鄭州黃河鐵橋共同稱為黃河三大橋梁。中山橋建成後，對溝通內地與西陲交通，便利商賈行人，增進民族交往，鞏固國防做出了巨大貢獻，在抗日戰爭和解放戰爭中立下了汗馬功勞。
中山橋建成後曾進行過幾次較大的維修，1954年，在原平行弦杆上加拱式鋼梁，提高荷載至汽——10級；1990年，加寬原1.2米寬人行道至2.1米；2004年，全麵加固維修，封閉機動車交通，改為步行觀光橋。
中山橋是甘肅乃至整個西北地區第一座引進國外技術建造的跨黃河橋梁，是目前黃河上唯一保存完好的近代橋梁，已有97年的曆史，成為蘭州標誌性建築，為國家級文物保護單位。