鴉片戰爭之前，廣州十三行的行商以“潘、盧、伍、葉”最為著名，即同文行和同孚行的潘家兄弟、廣利行的盧文錦、怡和行的伍秉鑒以及義成行的葉上林四大行商。18世紀末19世紀初，也就是鴉片戰爭前夕和戰爭期間，伍家似乎要比其他行商更精於投資之道，很快就積累了巨額財富，成為廣州行商的領頭人。
據記載，伍氏家族原籍福建，康熙初年進入廣東。剛入廣東時，伍氏曾經從事過商業活動。到了伍國瑩這一代，伍國瑩在一家行商當起了賬房。當時，商戶的賬房不僅要做會計工作，也參與資產的管理，並且作為商行的成員還可以進行投資貿易。因此，伍國瑩在這裏積累了大量的財富與豐富的經商經驗，並且在他還沒有成為行商之前，就已經與英國東印度公司有了商業往來。1783年，伍國瑩終於脫離了這家商行，在海關的監督和要求下成為行商，成立了怡和行。在伍國瑩的經營下，怡和行很有起色，並且在國際商界也取得了一定的地位。
1801年，伍國瑩去世，兒子伍秉鑒便繼承了伍家怡和洋行的業務。在伍秉鑒手中，怡和行的事業開始快速崛起，同歐美各國的重要客戶都建立了緊密的聯係。
當時，中國最著名的出口貿易產品就是茶葉，而且歐洲人對茶葉的質量十分挑剔，但伍秉鑒所供應的茶葉卻被英國公司鑒定為最好的茶葉，並標以最高價出售。此後，凡是裝箱後蓋有伍家戳記的茶葉，在國際市場上都能賣到很高的價錢。到1807年，怡和行已成為廣州的第二大商行。隨著行務的發展和貿易額的激增，伍家的資財也逐步上升，成為廣州諸行商中首屈一指的巨富。1813年，怡和行終於被列為總商之魁，登上首席商行的位置，取代同文行成為廣州十三行的領頭人——總商。此後數十年，伍秉鑒一直居於行商的領導地位。直到1826年，他將怡和行行務處交與第四子伍元華掌管，自己退居幕後，但他仍掌握怡和行和公行的實權。
伍秉鑒父子兩人，都是工於心計、多財善賈的大行商，他們一方麵與外商保持著密切的關係；另一方麵又通過賄賂、捐輸和報效，同清政府和廣東各方麵的官吏接觸密切，官商結合，怡和行的財富也迅速上升。作為封建特權商人，而且清朝又實行捐納製度，因此伍秉鑒也捐資買了一個三品頂戴的官銜，成為亦官亦商、上通朝廷、下連市廛的名副其實的官商。同時，伍家父子又憑借中外交涉中介人的有利條件，與外國的外交代表、軍政官員保持密切的關係。英國駐華第一任商務監督、英國的東印度公司、散商和美商都與伍家有直接的通商關係。而且，英國馬地臣行的中文行名就是采用了伍家怡和行老字號的號名，稱做“怡和洋行”。
在清代，中國共出現過三個商業群體，他們分別是兩淮的鹽商、山西的晉商和廣東的行商。兩淮的鹽商經營鹽業，晉商經營票號，行商的主業則是外貿，但有所不同的是，行商的資產更為集中。在伍秉鑒的經營下，伍氏家族使行商的資產達到了曆史的頂峰，成為洋人眼中的世界首富。