十六歲時，他開始找工作。他先後去商店、工廠、辦公室去應聘，但是都沒能成功。最後，一個名為休伊特-塔特爾的公司錄用了他，這是一個做期貨生意、代理商經紀人以及生產加工的公司，公司安排他做一名辦公室勤雜人員，並兼職做助理記賬員。這一天是1855年九月二十六日，他在以後每一年的這一天裏，都要進行周年慶典。公司並沒有和他定好工資待遇，連續三個月來他都在對收入不明底細的情況下工作著，而且公司所安排的工作也並不十分符合他的能力。但是，有一件事始終令他感興趣，那就是他終於有機會為自己的雇主做一些事情了，他的報酬完全是次要的。年終的時候，他拿到了五十美元作為這十四周的酬勞並且以每月二十五美元的工資開始了新的一年。第二年，一年兩千美元的記賬員辭職了，年輕的洛克菲勒以五百美元的年薪接替了這一職位。到了第三年，他收到了五百五十美元的年薪。
到了第四年頭上，他要求八百美元的年薪，但是公司隻付給他七百美元。就這樣，他決定辭掉這份工作，自己開始做生意。他還不到二十歲，但是，他已經利用這幾年時間取得了很大的進步。洛克菲勒先生一邊回顧一邊對我說：“我盡可能地學會了公司的每一項業務。每一筆來到我這裏的賬單，我都要仔細核對，我一定要確保，我的老板沒有受到任何欺詐，我把這件事當作是自己的事情一樣認真對待。我們除了生產以外，還經營各種進出口貿易，我記得有一個船主，他總是要提出一些貨運賠償金，我決定要調查一下。我堅持檢查所有的單據和貨運，後來發現他一直以來提出的索賠完全是不受支持的。我抱著一個合作人的態度和興趣認真對待每一件事情，從中學到了很多。我真正明白了生意到底是怎樣經營的、各種賬目是怎樣係統記錄的以及辦公室管理的每一個方麵，當然我也看到了一個公司應該怎樣去融資。接著，我又有機會看到該如何對待客戶。”
與此同時，這個年輕人正在商業圈以外漸漸樹立起自己的威信。首先，他成為了周末學校裏一名充滿熱情的成員。十六歲那年，他被選為艾利大街基督教堂鬥爭任務理事會的一名執事，也就是現在的尤克立德大街基督教堂。還不到十八歲，它就被選舉為教堂理事會成員，他的弟弟威廉繼他之後成為了執事。這個小小的教堂的抵押貸款馬上就要到期了，因此麵臨著關閉的為可能性。約翰·D.洛克菲勒決定要拯救這個小教堂。他把教堂的情況寫下來，貼在教堂大門上，然後同每個前來捐助的人傾心交談，或者向抵押保證人表示一定能還清債務。他還親自從自己的口袋裏掏出一定數量的錢，來為其他募捐人樹立榜樣。最後，他理所當然地獲得了成功，他成為了周末學校的領導著，後來又成為了主管。他繼續尋找那些孤獨的年輕人，把他們帶到教堂的大家庭中來，用自己微薄的力量幫助者那些窮苦的人們。當他日後進入商界，完全靠他自己時，他的這種認認真真建立起來的聲譽會為他帶來很大的支持和幫助。他的勤奮、他充沛的精力、他的熱情、他的機警、他的能力和他的樂觀都給與他共過事的人留下了深刻的印象。
1895年，他和比他年長十歲的莫裏斯·B.克拉克合作，進入了生產行業。洛克菲勒先生自己積攢了八百美元，他的父親以百分之十的利息借給他一千美元好讓他湊夠入股的資本。
“我去拜訪了附近一帶的農民和其他一些人，同他們談了話，告訴他們如果有機會的話，我們很高興隨時為他們提供服務，我們並沒有要求他們改變現有的購買對象，隻是給他們留下了名片，希望在以後他們想要聯係我們時能夠用得到。”洛克菲勒先生回憶道，“這種用個人的影響力來招攬生意的結果大大超過了我們的預期。大量的業務湧向我們，僅僅在第一年裏，我們就做了五十多萬美元的生意。”
洛克菲勒先生開始對石油業感興趣時，還不到二十二歲。那個時候克裏夫蘭已經有了幾個提煉廠，這些提煉廠主要生產照明用原油。而當時的洛克菲勒也已經是一個精明老道的商人了，他一直在尋找著新的商機。他預感到，這個新興行業將孕育著無限的發展潛力。他做了調查和計算，最後明白了一個事實，這個世界上有一種物質，它很有可能會走進每家每戶的生活。1862年，他馬不停蹄地幫助成立起了安德魯斯-克拉克精煉油公司，並和克拉克共同出任公司的財務和業務經理。三年之後，他將自己在期貨代理公司的股份全部轉讓給了M.B.克拉克，然後又買下了他在安德魯斯-克拉克公司裏的股份，然後加入了塞繆爾·安德魯斯，和他共同成立了洛克菲勒-安德魯斯公司，繼續在石油行業發展。