陳蘭彬是吳川縣（今吳川市）黃坡鎮黃坡村四甲人，其祖先在南宋末年，從中原南遷，遷移到吳川，繁衍後代，稱乾塘族。清朝舉人陳喬森曾在《清禮部左侍郎麗秋陳公諱文》中介紹其祖先，曰：“公南宋宰相諱文龍之後，自宋開族於吳川，至今支派繁衍，名曰乾塘族，凡二十一世，而公生能繼祖德。” 李欽主編：《陳蘭彬頌》，第112頁。
陳蘭彬出身在書香門第之家，其父輩均是好善樂施，造福鄉裏的人。祖父陳景清（字醒堂）、父親陳訓行（字懿圃）分別是儒宿、庠貢生，都是很有學問的詩書人。正如陳喬森所述，“醒堂公有隱德，鄉裏耆老常言之”，“懿圃公，誌學勤道，踐履純實友教，以有用於世為主”。李欽主編：《陳蘭彬頌》，第112頁。
祖父陳景清關心家鄉事業，也參與籌辦海防工作。嘉慶初年，吳川常遭受海盜的騷擾，一些鄉民被誣為海盜，陳景清與官府打交道，為受害者昭雪，並設法援救被海盜搶去的民女。一次，一名叫吳觀書的鄉人與海盜串通，橫行霸道，魚肉鄉民，族人奮起搗毀他的祖廟，並殺其妻。當官府追究此事時，陳景清挺身而出，勸告縣官，指出此舉是為地方除害，如果處分鄉民，將會中海盜之計，此事終得以化解。又有一次，陳景清深夜回家，見兩人在黃坡江畔廝殺。一問之下，原來一位是負債十千，貧不能償，另一位說，他若不還錢，我沒錢也必死。陳景清當即替那位素不相識的欠債者如數償還。鄉民都說他做好事不計其數。陳景清也是個自律之人，他一生好讀，每天清晨起來就認真閱讀和摘錄經史文集，或堪輿醫卜諸書，積疊滿架。著有戒淫、戒賭、戒吸鴉片、思患預防、居心行事等文章，享年90.臨終前數日，書寫“人善人欺天不欺”七個字掛在牆上，告誡子孫：凡事以和為貴，忍氣吃虧最好。陳景清一生為鄉民做了許多善事，獲得一片讚揚聲。同鄉副貢林泰雯稱：“景清臨財不苟，見識精卓，凡為人謀，盡心竭力。”校官羅禮綿謂：“景清心存仁厚，戚族中或蹈非義，則嚴詞斥責，不肯少貸，以故人多敬畏，薰其德而善良者，難更仆數。”狀元林召棠謂：“景清胸次浩然，不能委曲徇物，言論如濤瀾，怒翻鋒穎，森豎旁見，側出洞胸，逞腋氣常，蓋其坐人，其理直，故不聶其氣壯，故不屈也。”［清］毛昌善修，陳蘭彬纂：《吳川縣誌》，第286頁。
父親陳訓行自幼聰穎。少年應童試，29歲回家在“邑學宮”，即家鄉的學堂從事教育事業，並“督理捐茸，始終不懈”，後又捐助建川西書院。陳訓行好讀書從不虛度時光，讀書時認真抄閱做筆記，尤其對四書作闡釋，分門別類作了四百多條。朝廷授予“八品頂戴”，後又“敕誥封疊膺年登上壽”，得到各種榮譽。陳訓行早年生活並不富裕，待子孫成家立室，有了產業後，家境才富裕起來，但仍然很簡樸，如以往一樣穿土布衣，清茶淡飯，隻是在祭祖時才穿上保存好的幹淨而又衣料上乘的衣服，以表示對先人的尊敬。鹹豐四年（1854），紅巾軍在縣城一帶活動，平定後，一些平民遭到殃及，陳訓行出麵解釋，使一些無辜平民得以釋放。吳川人以出外打魚為生，當地收魚稅，每單交銀二兩，一時無法交者，稅吏不允許打魚，影響漁民生計。陳訓行出麵與官府商量，上交部分漁產以代替稅，使漁民既無擾，官亦無虧，妥善解決了問題，得到鄉民的愛戴，［清］毛昌善修，陳蘭彬纂：《吳川縣誌》，第295頁。終年85歲。
陳氏大家族在家鄉留下了很好的口碑。祖父的寬闊心胸，仗義慷慨，熱心公益以及學識精卓給陳蘭彬留下不可磨滅的印象。父親的好讀從不虛度時光，克勤克儉，熱心為鄉裏辦好事的品質深深烙在青年陳蘭彬的心靈裏。加上，父輩們平時結識的許多文人雅士、名流鴻儒，也分別影響著陳蘭彬。父輩們勤奮好學，樂於助人，服務鄉裏的好傳統使陳蘭彬終生受用，也直接影響他的未來事業。
陳蘭彬家族在朝廷任職者眾，有些雖然不在朝廷任職，但亦因親屬當官而受朝廷封賜。陳景清因為孫子陳蘭彬任二品頂戴都察院左副都禦史，而被朝廷贈與“光祿大夫”銜，又因為曾孫嵩梅為三品銜刑部郎中，他又獲“榮祿大夫”銜（《高州府誌》第514頁）。“陳訓行，以子蘭舒文昌訓導貤封修職佐郎。子蘭彬翰林院庶吉士封承德郎刑部主事加級封資政大夫，二品頂戴，都察院左副都禦史加級贈光祿大夫。子蘭疇五品頂戴連州學正贈奉直大夫光祿寺署正銜，潮州府教授加級贈朝議大夫。孫嵩梅三品銜刑部郎中加級贈榮祿大夫。孫嵩良刑部郎中加級贈通奉大夫。配李氏封贈孺人安人恭人一品夫人。”［清］毛昌善修，陳蘭彬纂：《吳川縣誌》，第251頁。伯父陳兆行因陳蘭彬而受封直奉大夫。叔，陳禮行，以胞侄蘭彬刑部主事加級贈中憲大夫，配王氏贈恭人（《吳川縣誌》第252頁）。叔，陳敬行，以胞侄蘭彬刑部主事加級贈中憲大夫，配陸氏、冼氏贈恭人（《吳川縣誌》第252頁）。叔，陳敦行和陳毅行，因陳蘭彬而受封中憲大夫。長兄，陳蘭舒，“二十六年府貢，文昌訓導附傳”，“以弟蘭彬四品銜刑部主事，貤贈‘中議大夫’銜”（《高州府誌》第512頁）。二兄，陳蘭華，誥授榮祿大夫兩廣鹽運使。從兄，陳蘭英，“附貢署感恩教諭”（《吳川縣誌》第241頁）。從兄，陳蘭芬（蘭英弟），“附貢雷州候委訓導”（《吳川縣誌》第242頁）。堂兄，陳蘭植，“景清孫，附貢曆署合浦、臨高、陽江訓導，番禺花縣龍門教諭”（《吳川縣誌》第239頁），“以堂弟蘭彬刑部主事加級貤封中憲大夫，配梁氏封恭人”（《吳川縣誌》第252頁）。堂兄，陳蘭森（蘭植弟），“增貢署徐聞鎮平儋州、萬州訓導，遂溪、大埔、和平、花縣教諭”（《高州府誌》第450頁）。“以堂弟蘭彬刑部主事加級貤封奉政大夫配吳氏，吳氏封宜人”（《吳川縣誌》第252頁）。胞弟，陳蘭疇，“附貢署海康訓導，潮州教授，連州學正”（《高州府誌》第450頁）。“光祿署正銜，潮州教授，加級授朝議大夫，以子嵩瑜員外郎銜光祿寺署正，加級封中憲大夫。子嵩良，刑部郎中加級疊封中憲大夫、通奉大夫。胞侄嵩梅，三品銜刑部郎中加級貤封榮祿大夫，配李氏、林氏，封恭人晉贈夫人”（《吳川縣誌》第252頁）。弟，陳蘭梅，三品刑部貴州部中欽。