離開了任老板的仁德錢莊，胡雪岩一邊四處“打工”當小夥計，一邊在業餘時間勤練算盤和毛筆字。從那時起，胡雪岩就抱定了創業當老板的誌向。在他看來，創業經商最基本的條件有三個：第一是資金和人脈，第二必須要精通算賬，第三就是要有一手好字——如果寫個契約、填張彙票都不像樣，又怎能被大客戶看得起？這三個條件當中，資金和人脈要慢慢積累，而算盤和書法則是“拳不離手，曲不離口”的基本功。
這期間，胡雪岩頻繁地變換工作，他的目的並不是為了錢，而是為了把各行各業都摸清楚。一心想要創業的他，深知選準行業的重要性。但最終，胡雪岩還是選擇了阜康錢莊。
胡雪岩雖廣泛涉獵多種行業，但他終於意識到，自己的“核心競爭力”在錢莊的業務上。此外，阜康錢莊的於老板早就知道胡雪岩為人精幹，也希望他來錢莊工作。就這樣，胡雪岩來到了阜新錢莊，做了金庫的庫管。
按照錢莊的規矩，金庫的庫管在上崗後的第一個月，必須練習“坐功”，就是整天坐在金庫裏麵，對所有賬目進行重新核算，並檢點庫內的銀元和銅錢，白天不準出門，晚上也隻能住在店中。違規者，將被錢莊辭退。
當時的胡雪岩，還不到二十歲，正是年輕好動的時候，但他意識到，自己對錢莊的業務，僅僅粗通皮毛，對於跑街、出店等外勤業務，對錢莊的“掌盤”管理，自己幾乎一無所知，隻有踏踏實實地在錢莊裏，一點一滴地慢慢看、慢慢學。因此，胡雪岩整日老老實實、勤勤懇懇地在銀庫裏核對賬目，一個月足不出戶，把賬目核對得一清二楚，沒有發生任何差錯。
這一切，阜康錢莊的於老板都看在眼裏、記在心上。於老板無妻無子，一輩子的心血，都傾注在自己的錢莊上，如今年歲漸老，身體也越來越差。他的當務之急，就是盡快物色一個德才兼備的年輕人，做自己的繼承人。
後來，於老板故意把一些零碎的銀錢散落在夥計們辦公的地方，或者在銀庫內暗中多放置一點碎銀子。胡雪岩經常在地上撿到錢後交給於老板，輪到他盤點銀庫時，也經常會盤點出一兩塊銀元的盈餘。於老板不禁對胡雪岩的為人刮目相看。於老板一直用這種方式，試探手下夥計的人品，但之前的很多年，從來沒有人撿到錢後主動上交，庫內的“盈餘”也極少有人能在盤點之後告訴自己。但隻有胡雪岩，一而再再而三地拾金不昧，如此誠實之人，實屬生平罕見。
後來，於老板委派胡雪岩做外勤業務，胡雪岩非常善於和各種人打交道，而且善於揣摩別人的想法，因此，他在阜康錢莊的各個“業務區域”，都很快積累了大量的“客戶資源”，而且極少出現呆賬、壞賬。