羅氏家族幾代之前起源於南海的大海盜頭子羅大炮。羅大炮原名羅先謹，本是海邊一個窮苦漁民家的小兒子，家裏還有四個哥兩個姐姐。羅大炮自小生得聰明機靈，加上在他小時候來過一位仙風道骨的老道給他算過命，說他天賦異稟，要他父母好自珍惜。
羅大炮父母一生窮苦，活在窮苦的人沒別的辦法將自己的精神支柱寄托在神佛上，所以特別願意相信這樣的道僧之類的傳教布道，所以羅大炮的父親信以為真，不惜把一年到頭辛苦賺的錢都交給村裏的一位讀書先生教他讀書，想他不要像自己一輩子辛辛苦苦做漁民賺不到錢，以後靠讀書出人頭地，光宗耀祖。
可是誰也沒想到的是生活中的一件小事情影響了羅大炮的一生。那天天氣還不錯，羅大炮的父親賣魚賣了個好價格，於是就給五個男孩子買了五個梨子，因為女子在那時候不受到重視，所以羅大炮的父親根本就沒買兩個女兒吃的梨。羅大炮和哥因為家裏窮，從來沒吃過梨。五兄弟從沒見過梨，互相搶奪樣子比較好的梨。羅大炮的母親是一個誠心信佛的忠實佛教徒，一心向善見不得兄弟相爭，拿開了五個梨過來。羅母沒有什麼文化,不會出題,於是要他們每人說一句話，看他們說的話是否有理來決定是否給他們比較好的梨。羅大炮的大哥說：“我是大哥，所以我要吃最大的。”二哥比大哥長得高，說：“我個子最高我要吃最大的。”老三和老四則表示自己一定要比小七羅大炮吃得大些才好，因為羅大炮平常又不用下海打漁幫著家裏賺錢賣力氣，用不著吃大的。
羅母聽了四兄弟說的話拉長臉說：“你們就是顧自己,一點也沒有佛的慈悲心。”最小的羅大炮聽了，靈機一動說：“把大的留給哥哥們吃,我是弟弟,就吃最小的那個。”羅母本來就偏心喜歡小兒子，聽了小兒子講的話更是襯自己的心,高興的說：“乖，好兒子，來，這個最大的給你吃。”羅母子說：“你們應該學習一下你們的弟弟，小小年紀就有佛祖的謙讓之心。”這時羅大炮看著分到的大梨子，心裏並不滿足，於是對羅母說：“媽媽，姐姐們好可憐沒梨吃，我把我的梨給姐姐。”羅母聽了口念佛說：“阿彌陀佛，沒想到我兒子這麼有善心。來，善心有好報的，這梨子都給你。”羅母自以為自己觀音再世，把本來平分給五個兒子的梨子全部都給了小兒子，而另外四個兒子老實得不敢反駁羅母的一人之見。
因為當時生出來就注定沒地位的女子在家中是沒有發言的地位，所以羅大炮有沒有把梨分給姐姐沒人知道。
羅大炮從這件小事裏發現了一個他一生持之以恒的真理：為達目的要不擇手段。
小時候給羅大炮算命的老道曾教過羅大炮一些道家的奇門遁甲術，羅大炮當然沒有辜負老道的一片"好意",勤加苦練發揮到老道不想看到的地方上.自羅大炮走過的地方,從羅大炮家的漁村到附近的十幾個漁村經常發生盜竊事件。羅大炮就此開始發家，糾黨結夥最終成為這裏的一霸。後來羅大炮因為搶劫當地一個富戶殺了當地的一個名人驚動了官府，遭到官府通輯，他就搶了船到躲到海上去,他劣性不改仍然在海上搶劫,後來勢力逐漸發展成為南海最強的海盜，並且統一了那些小海盜集團，成為遠近聞名的大海盜頭子。
羅大炮一生燒殺搶掠船隻無數，據說他生起氣來大喊一聲就可以叫附近的人全身爆裂而死，所以得了個羅大炮的外號，形容他發脾氣的威力可比大炮的威力。
在羅大炮的子孫羅大旺當權時，陸空交通還沒開始發達。大量貨物還是從生活從海上運輸，李緒常隨父親李達行走海上遠渡重洋運送貨物去國外做生意。李緒家的船經常受到海盜的侵襲。
後來有一次，李緒救了受傷的當時還未當權的羅大炮子孫羅華夫。當時羅華夫背著海盜頭子的父親羅大旺私自上岸，被人出賣給仇家，結果羅華夫的手下全部被殺，隻有他負傷逃竄。羅華夫見是李緒救了他們，於是勸說父親羅大旺與李緒的父親李達和談。羅大旺待了這麼多年海上也煩了，也想上岸漂白，於是要求李達出麵幫他打點一下。李達買通了官場上一向亨通的蘇家，蘇家是當地的名門旺族，蘇家的子孫一般都上官場任職，在官場上有相當神通。在李的授意和金錢排導下，羅家開始上岸了。
羅家發現做生意比當海盜對子孫好，於是商議拿出世代搶奪的財富入資李家，本來這些財富應該很龐大，可是羅家人臨時又想單幹不入資李家，於是自己做，結果當時的羅家全部海盜轉行做生意，和趕鴨子上架沒什麼區別，將世代炮口下搶奪的財富虧得一幹二淨，於是又開始做起了黑道生意。雖然生意不行，但幾十年下來因為聲勢比較大，風頭比較勁成為位列蘇家的第二大家族。