胡雪岩的錢莊、銀號、當鋪互相挹注，融通有無，構成一個巨大的金融網，勢力遍及江蘇、浙江、福建、湖南、湖北及北京、天津，胡雪岩通過這個網絡，以子母術遊刃其間，在十裏洋場的上海贏得了“傑出的銀行家”的美名。《異辭錄》說他“富名震乎內外，僉以為陶朱、猗頓之流”。“陶朱”是春秋戰國時期的範蠡，他在輔佐越王勾踐滅吳複國後，棄官從商，致富置產，定居陶邑（今山東定陶），自稱“朱公”，後世即稱他為“陶朱公”。猗頓是戰國時期的魯人，先是大畜牛羊於猗氏之南，十年間生息多得不可計算，資產可與王公相埒，成為名揚古今的大富商。時人把胡雪岩與這兩人相提並論，可見他的富闊程度。
胡雪岩龐大的金融網為他在藥業、絲繭生意上大顯身手提供了強有力的資金保證。如：他為了保證胡慶餘堂收到道地藥材，隔年發放貸款，扶植藥農。江浙絲繭一直是出口在宗，但進入近代受洋商把持，有一段時間胡雪岩“以一人之力，壟斷居奇，市值漲落，國外不能操縱，農民鹹利賴之”。更有甚者胡雪岩的金融機構還為清政府承擔了彙解京餉和協餉的業務，如：1868年（同治七年）閩海關四成洋稅項下，按月積壓撥銀一萬兩作為陝西協餉，就由福州的阜康銀號彙解；1869年（同治八年）正月到1873年（同治十二年）七月，浙江協濟陝甘軍餉共計428萬兩，統統交給阜康銀號彙解192萬兩。這一切表明：胡記金融網在公私事務的運轉中，起著重要的作用。它已成為同、光年間一支相當可觀的財政力量。
4．公益事業，善名遠揚
自古商人以逐利為職業，傳統社會據此把商人當作狡詐和慳吝的代名詞，甚至在感情世界中，商人也被定格為“重利輕別離”的角色（據白居易《琵琶行》），然而這是偏見。事實上，曆代不乏十分重視義利兩立的明智經營者，他們用餘財熱心資助慈善、公益事業，結果往往因此善名遠揚，在事業中得到更大的回報。早在春秋戰國時期，幫助越王勾踐滅吳複國的範蠡19年中三致千金，曾幾次散財救濟貧賤之交和鄰裏鄉親，結果範蠡的子孫繼承和發展了父輩的事業，財富由千金而至巨萬。這是範蠡富而行德的報償。
胡雪岩所處的時代是兵荒馬亂的年代，他與其他的商人不同，更懂得要顯名揚聲先得施恩布澤的道理，他在做生意發財以後，慷慨解囊，除了前述在太平天國時期收葬殘骸、複牛車、開義塾、施粥施藥之外，還有以下幾個方麵義舉：
（1）江濤險惡興義渡
在胡雪岩的家鄉有條錢塘江，古稱浙江、漸江、羅刹江和之江，這是浙江省第一大河，也是東南名川，它發源於皖、浙、贛交界處，流入杭州灣，黃山以下幹流屯溪至梅城段稱新安江，梅城至浦陽江口叫富春江，浦陽江口至澉浦為線塘江。錢塘江主要支流有蘭江、浦陽江、曹娥江。
一百多年以前，杭州江幹到蕭山西興的江麵寬達十餘裏。每逢春秋多雨季節，上遊水流湍急、疾駛直下，如離弦之箭，加上海潮從鱉子門湧人，形成洶湧澎湃、氣勢磅礴的“錢江潮”。而急流與海潮相遇又使得錢塘江的水文異常複雜，江中流沙多變，曆來為航旅畏途。晚清時，錢江兩岸的人們還靠漁舟過江，出門還得選個天氣晴朗、風平浪靜的好日子，有人要渡江，家中親人都要祭祖求神，祈禱平安。不過，即使是這樣，也難保不出風險。
為了解除錢江兩岸旅客渡江的困難，胡雪岩捐銀10萬兩，主辦錢江義渡，並說：“此事不做則罷，做必一勞永逸，至少能受益五十至一百年。”
台灣作家高陽在《紅頂商人》寫到，1861年胡雪岩對有個叫李得隆的年輕人講述20年前的一段經曆時，對胡雪岩創辦錢江義渡的起因是這樣寫的：
二十年前的胡雪岩，還在錢莊裏學生意，有一次奉命到錢塘江南岸的蕭山縣去收一筆賬款，賬款沒有收到，有限的幾個盤纏，卻在小茶館裏擲骰子輸得隻剩十個擺渡所需的小錢。
“船到江心，收錢了。”胡雪岩說，“到我麵前，我手一伸進衣袋裏，拿不出來了。”
“怎麼呢？李得隆問。
“也叫禍不單行，衣服破了個洞，十個小錢不知道什麼時候漏得光光。錢塘江的渡船，出了名的凶，聽說真有付不出擺渡錢，被推到江裏的事，當時我自然大窘，隻好實話實說，答應上岸到錢莊拿了錢來照補，但說破了嘴都無用，硬要剝我的衣服。”
“這麼可惡！”李得隆大為不平，“難道一船的人，都袖手旁觀？”
當然不致於，有人借了十文錢給他，方得免剝衣之辱。但胡雪岩受此刺激，上岸就發誓：隻要有一天得意，力所能及，一定買兩隻船，雇幾個船夫，設置來往兩岸不費分文的義渡。
“我這個願望，說實話，老早就可以達到。哪知道做好事都不行！得隆，你倒想想看，是啥道理？”
“這道理好懂。有人做好事，就有人沒飯吃了。”
“對！為此錢塘江擺渡的，聯起手來反對我，不準我設義渡。後來幸虧王撫台幫忙。”
那時王有齡是杭州知府，不說私人交情，幫胡雪岩的忙義不容辭；就是以地方官的身份，為民造福，獎勵善舉，也是責無旁貸的事。所以官府出告示不準靠擺渡為生的人阻撓這件好事，同時還為胡雪岩請獎。
自設義渡，受惠的人不知有幾，胡雪岩縱非沽名釣譽，而聲名洋溢，就此博得了一個“胡善人”的美名。隻是錢塘江裏的船家，提起“胡善人”，大多咬牙切齒。
按上述描述，胡雪岩是受錢莊店夥時渡江受辱的一段經曆刺激，而創設義渡，時間在王有齡調任杭州知府（1855年）之後。
高陽的小說雖在采集大量史料基礎上構思而成，但那畢竟是文學創作。
可胡雪岩同時代人也是有記載的：
太平天國攻浙時任浙江按察使的段光清在《鏡湖自撰年譜》1864年（同治三年）條目下寫道：“義渡一事，是寧紹出入要路，捐錢者必多，前司於長毛（統治者對太平軍的誣稱）未擾時，亦曾捐銀千兩，各衙門亦皆有損，交胡（光）墉經管，收複之後，胡（光）墉亦不能置之不辦。從這條史料看，錢江義渡在19世紀60年代以前已開始籌劃，而且府署官員多有捐助，並非像有的文章所講的是胡雪岸獨資興辦。
《胡慶餘堂：中藥文化國寶》一書中朱成方的《功自心誠，利從義來》一文對錢江義渡的起因則有另一說法：
當時，杭州錢塘江上還沒有一座橋梁，浙江紹興、金華等“上八府”一帶的人進入杭城都要從西興乘渡船，到望江門上岸。而當時的葉種德藥店設在望江門直街上，所以生意非常興隆。而胡慶餘堂則設在河坊街大井巷，僅靠杭嘉湖等“下三府”顧客，很少有“上八府”一帶的顧客上門。
對一家商號來說，要在競爭中站穩腳根，天時、地利、人和三方麵的因素都要具備，但是，如何才能改變這“地利”上的劣勢呢？
胡雪岩曾親自到碼頭調查過，一位船工衝口而出“要讓上八府的人改道進杭城，除非是你把這個碼頭搬個地方！”言者無意，聽者有心，胡雪岩從碼頭回來，心裏亮堂堂的，主意也就拿定了。
他又沿江實地考察，了解到從西興上船過江，航程大，江上風浪大，容易出險。胡雪岩選擇了三廊廟附近江道較窄之處，決定在這裏投資興建“義渡”，把船碼頭“搬過來”，讓“上八府人”改道由彭樓進城。