1874年，胡雪岩51歲。這一年，他做出了一生中最重要的決定——開一家大型藥店，以懸壺濟世、廣澤蒼生，作為自己一生事業的落腳點。這家藥店總號設在杭州城內，被胡雪岩命名為“胡慶餘堂”，源於《周易》中的“積善之家，必有餘慶”。他把胡慶餘堂，作為自己畢生功業的落腳點。
據說，為了建造胡慶餘堂，胡雪岩甚至動用了慈禧太後準備用來新建圓明園的木材。
圓明園在1860年被入侵北京的英法聯軍焚毀，十幾年後，同治皇帝長大了，希望結束由慈禧太後垂簾聽政的局麵，於是降旨重修圓明園，以孝敬母後的名義，請母後遷居到圓明園享清福，從而遠離朝政。慈禧起初欣然應允，但後來轉念一想，發覺了同治皇帝的用意，於是立即下令停工。胡雪岩通過官場的朋友得知此事後，設法把其中的一些木材運到杭州，用來修建自己的胡慶餘堂。胡慶餘堂的排場，由此可見一斑。
胡慶餘堂掛著一塊醒目的匾額：真不二價，向所有買家表明了胡雪岩童叟無欺的誠信。另一塊著名的匾額，上書四個大字：是乃仁術。胡雪岩建立藥店的目的，首先是普濟眾生的仁愛，其次才是經商賺錢。
胡雪岩自己並不熟悉醫藥，但他深知放權與委任可以解決自身能力的不足，於是決定不惜巨資，聘請一位德才兼備的藥業精英，擔任胡慶餘堂的掌櫃。他在上海《申報》上刊登招聘廣告，很多精通醫藥的名商大賈，都希望托庇於胡雪岩，因為“大樹底下好乘涼”，於是紛紛前來應聘。這些前來應征的人，有的說能讓胡慶餘堂兩年內賺到十萬兩白銀，有的建議胡雪岩在小本經營中穩健求勝。胡雪岩聽罷，對這些應聘者都一笑謝絕，他覺得這些人都太俗氣。
正當胡雪岩為胡慶餘堂的掌櫃招聘一籌莫展之時，他偶然聽說，江蘇鬆江有一家餘天成藥號，其經理兼股東餘修初，對待顧客非常仁義，而且極有魄力，但餘天成藥號的資金有限，因此僅在當地小有名氣，難以做大做強。
胡雪岩親自來到鬆江，向餘修初登門求教。胡雪岩是學徒出身，從小就樂於向他人求教，從而獲取各種行業的知識，在成為杭州頭號富商之後，依然不恥下問，而且待人非常謙和。
餘修初對胡雪岩說：“開藥店不應該像開當鋪一樣單純追求利潤，應當以仁德為先，把治病救人作為第一目的，並不惜血本采購精良藥材。此外，要成大氣候，就應投入巨資開辦製藥廠，形成藥品的產供銷一條龍。”胡雪岩聽得喜出望外，當場以重金把餘修初請到杭州，讓他擔任胡慶餘堂的第一任經理。
在胡雪岩的鼎力支持下，餘修初上任伊始，就做出了一件“破天荒”的大事——免費向難民施藥。當時湖州等地爆發瘟疫，餘修初得知此事後，立即派人到水陸碼頭，向過往百姓免費贈送祛除瘟病的特效藥，托他們將藥轉送給無錢治病之人。店內一些夥計對此甚為不解，但胡雪岩和餘修初相互撫掌大笑道：“此乃仁術也！”
胡雪岩抱定了就算連賠三五年也在所不惜的打算，在免費向難民送藥的同時，他還出資在錢塘江修建碼頭、購辦船隻，讓兩岸的貧民可以免費渡江。很快，胡雪岩與胡慶餘堂的名聲，在江南地區口口相傳，胡慶餘堂的生意越來越興隆。