他在一家兼營貨運業的中間商的泰德公司裏做會計助理，因工作精細認真、有條不紊而受老板賞識，接著他又擅作主張搞投機為公司賺了一大筆錢。他在這家公司服務三年半，後因老板休威不答應約翰加薪請求，他憤然離開了那裏。離開休威公司後，約翰認識了一個英國人克拉克，倆人合夥以４０００美元起家設立了一個穀物和牧草的經紀公司，一年間使營業額增為４５萬美元，獲純利潤４０００美元。
在著名的南北戰爭爆發前，約翰很有預見性地從銀行貸款，擴大資本囤積了大量的鹽、火腿、穀類、鐵礦石和煤等，結果第二年他們獲利高達１７０００元。緊接著南北戰爭就爆發了，這是上天賜予洛克菲勒的絕佳的發財機會。林肯總統發布了征集７５０００名義勇軍的號令！
洛克菲勒才不去打仗呢，他非常關心前線戰況，但絕不想自己去服兵役，他要賺錢。他在戰爭期間先後找過２０到３０個替身替他服兵役。他隻要拿出一些錢，就什麼都解決了。
由於戰爭，華盛頓聯邦政府對這些食品的需求就遠大於供給，於是洛克菲勒便大賺一筆，成了南北戰爭時期顯赫一時的人物。這期間，一位來自克拉克家鄉的英國化學家安德魯斯曆盡艱辛終於研究出用亞硫酸氣精煉石油的辦法，在實驗室製出了蠟燭，然後找克拉克共建煉油公司。洛克菲勒拿出４０００美元，讓他們成立了安德魯斯克拉克公司，而自己仍在“等待”機會。不久，洛克菲勒等待的機會到了，由於無計劃地盲目開采，原油價格一跌再跌，但煉油卻顯露出無限廣泛的前景，煤油銷路飛速拓寬。通過拍賣煉油公司的方式，洛克菲勒打退了克拉克，獨攬煉油和銷售，並擴大規模，易名洛克菲勒安德魯斯公司。公司經擴充設備後，日產油量增至５００桶（合７９０００公升），年銷售額也超過了百萬美元。
到１８６９年銷售總額有１２０萬之巨，成為克利夫蘭規模最大的煉油廠。
時機完全成熟了，洛克菲勒絕不放過這天賜良機，他讓弟弟威廉設立了第二家煉油公司——威廉洛克菲勒公司。隨著事業的發展，洛克菲勒的野心也在無止境地擴張。接著他又打發弟弟到紐約去開設另一家“洛克菲勒公司”以圖開拓石油出口業務。另一位同是靠戰爭發財的投機商佛拉格勒，作為和洛克菲勒有同樣野心的合作者，為了實現膨漲起來的壟斷野心，他與洛克菲勒訂下密計：同負責運輸的鐵路公司私訂密約，洛克菲勒公司保證每天提供６０輛車的精煉油，而運費要打折扣。這樣，洛克菲勒憑著比同行運費低廉，而降低銷價、拓寬銷路的方法擠垮了同行，壯大了自己，獲取了巨額利潤。
１８７０年１月，洛克菲勒創設的標準石油公司成立。標準石油公司成立後，普法戰爭爆發了，戰爭使海上運輸一時癱瘓，賓州的石油出口業也被迫中斷了。普法戰爭造成了美國經濟的不景氣，導致油價的狂跌，每桶油的價格降低到了４美元以下。為抵抗不景氣，產油業成立了“卡特爾”，控製油價。油價控製住了，但產品積壓越來越多。這種惡性循環，必然導致中小型企業的破產，但對於財大氣粗的洛克菲勒卻正是大搞吞並的天賜良機。