一個風趣的年代史編者曾說過：“艾爾伯特·H.加裏生下來就是個赤腳的孩子。”這種說法可以說對也可以說不對。在他1848年出生的農場上，小加裏有時候的確不穿鞋和襪子光著腳在地上跑，但這是他自己不要穿而不是沒的穿。他父親的農場位於芝加哥以西二十五英裏的杜佩奇縣，他的父親是一個正直誠實、嚴格要求的新英格蘭人，通過自己努力工作，細心仔細和勤儉節約讓全家人都能夠吃飽穿暖。他是一個很實際的人，他讓自己日漸長大的孩子們在工作和讀書之間自己做出選擇。艾爾伯特寧願去上學而不願去幹活，這樣，他就有了許多的熟人。
有趣的是，他的老師組織的一次黑板數學演算競賽，居然確定了他日後的職業方向。有一天，一位叔叔來拜訪加裏一家，他叫H.F.瓦萊蒂，是當地的一個著名律師。加裏的爸爸很為自己兒子的數學能力驕傲，就在他們倆之間安排了一場比賽，結果艾爾伯特獲勝。作為獎勵，這位叔叔給在自己內珀維爾的辦公室為他安排了一個位置，讓他學習法律。父親的結論是：“有朝一日，艾爾伯特可能會有自己的一份財產，懂得一些學習法律可能會幫助他保護自己的財產。”
他進入了偉頓學院，兩個冬天在鄉村學校裏教書，又在叔叔的辦公室工作了十八個月，然後去了芝加哥讀書，二十歲時畢業於芝加哥大學法律係。作為當年畢業生中最傑出學生，他被法學院院長推薦到庫克郡法院做了一名職員，工資為每周十二美元。在那裏他充分展示的自己的能力，逐漸升到了辦公室最高的職位。然後，他的叔叔把他帶到了自己芝加哥的辦公室。
芝加哥大火的第二天，他在一個木質建築裏租了一間辦公室，掛起了律師事務所的牌子。
第一年他賺了兩千八百美元。
他的理想是成為一名法官。通過參加競選，他擴大了影響力，最終成為了偉頓市的第一市長。沒過多久他就實現了自己的理想，被正式選舉為郡法官。
在這之後的一段時間裏，他對鋼鐵發生了興趣，因為他已經預料到了整個世界將會進入一個鋼鐵時代。他辭掉了法官職位後，分別出任幾個公司的顧問律師，同時還保留著他的日常工作。在很早的時候(1891年)，他就形成了這種身兼數職的習慣。在他的協助之下，有幾個工廠被合並到了伊利諾斯統一鋼鐵線材公司，這是一家資產為四百萬美元的公司，在當時可以算作是一個龐然大物了。七年之後，他們並購了更多的公司，隨著規模的不斷擴大，這個企業後來改名為美國鋼鐵線材公司，擁有一千兩百萬美元的資本。
加裏十分清楚，聯合就意味著力量。他形成了一套理論，如果能夠將每一個單個的鋼、鐵生產商和運輸商集合在統一管理之下，那麼就會產生巨大的經濟效益，生產效率就會得到空前的提高，因此必然就會賺得可觀的利潤。
在成為了伊利諾斯鋼鐵公司舉足輕重的人，並且已經是董事會成員之後，他開始致力於組建一個統一的鋼鐵公司，這個公司將由伊利諾斯鋼鐵公司、自有鐵礦的明尼蘇達鋼鐵公司、在俄亥俄伊利湖擁有工廠的洛蘭鋼鐵公司、可以提供航運服務的明尼蘇達汽船公司、可以將鐵礦運輸到湖邊的達魯斯鐵路、埃爾金-喬列特-伊斯頓鐵路、芒特普林森煤礦和賓夕法尼亞焦炭公司組成。
加裏法官同羅伯特·培根一起創建了這個著名的聯邦鋼鐵公司，培根當時為J.P.摩根公司成員。這個資產為兩個億的聯合公司讓美國和歐洲都不由得刮目相看。摩根先生總喜歡說，比起後來組建的美國鋼鐵公司來，這個公司在工業和金融方麵是一個更大的奇跡。