對銀行的重要性，盛宣懷早有認識。在任鐵路總公司督辦後，他即向張之洞表示必須辦起一家銀行，同時他暗中向數十家富商大賈招股，得款300萬兩，以作為辦銀行的基礎。
由於盛宣懷不斷向朝廷上書要求創辦銀行，也由於張之洞、王文韶等權要人物的推薦，光緒二十二年（1896年）十月，清政府下令責成盛宣懷招集股本，開辦銀行。盛宣懷接受辦銀行諭旨後，立即著手組織董事會，選擇各方麵極具經濟實力的代表8人為總董。這8人的身份使銀行在籌集資本上不會遇到太大的困難。
銀行籌建過程中，盛宣懷遇到了來自內外兩方麵的壓力。在外有帝國主義的幹擾，尤其是俄國人的興師問罪；在內則有一些官僚掣肘。在這種情況下，盛宣懷清醒地認識到，要辦成中國第一家銀行，必須依靠朝廷的支持，而要得到此支持，則非爭取官本投諸銀行不可。為了打消一些商人怕引進官本造成後患的疑慮，盛宣懷特別指出，官款投向銀行不是作為股份，而是暫借，與創辦輪船招商局的情形類似。借人的200萬兩官款，可“作為生息存項”，6年為期，期滿後或分年提還，或仍繼續存下去。這種做法使銀行既有官辦作後台，又能令商人放心投資，不必擔心官股的侵害。在官商之間，盛宣懷可謂調解得當，平衡有術。
經過盛宣懷的精心籌備，戰勝了各種幹擾，銀行總行於光緒二十三年（1897年）四月在上海成立，定名為中國通商銀行。它是中國自己辦的第一家銀行。銀行創設後不到一年，即在天津、漢口、廣州、汕頭、煙台、鎮江和北京等地開設了分行，經營狀況頗佳，做到了官商兩利。光緒二十五年（1899年）時，銀行每6個月結賬一次，除日常開銷外，發給股東利銀40萬兩，上繳戶部利銀10萬兩，在社會上也初步發揮了金融資本的效能與作用。這一切都與盛宣懷的不懈努力分不開。毋庸諱言，和經營其他企業一樣，盛宣懷個人也從中得到不少好處。
在大力開發礦務和創辦銀行的同時，盛宣懷還做了一件利國利民的大事，即開辦新式學堂，培養近代有用人才。盛宣懷在辦企業的過程中，一直十分看重人才的培養，他深感中國缺乏新式人才而需雇洋工洋匠的不便，決心創辦自己的學堂。隨著他官職的上升和經濟實力的步步雄厚，創辦學堂的條件逐漸成熟，遂於光緒二十一年（1895年），設北洋大學堂於天津，即今天的天津大學前身。這是中國第一所大學。第二年他又在上海創辦了南洋公學，即今天的上海交通大學前身。另外，他還曾數次主持派遣留學生到美、英、德、日、比等國留學的工作。可以說，在人才的培養上，盛宣懷的努力是卓有成效的。