很早以前，這裏的大部分土地都被地主趙剝皮霸占著，農民們沒有辦法，隻好給他做長工，要不就是租他的地來種。就算有幾戶人家有塊小田，也天天害怕被趙剝皮霸占了去。
雖然有一條大河，但是這裏用來灌溉的水卻像金子一樣珍貴。因為這裏地勢很高，水流卻很低，必須用水車灌溉才行。普通的農民沒錢買水車，隻有地主趙剝皮在陽江堵了幾個水壩，裝了幾個大水車。趙剝皮才沒有那麼好心，白白給農民水車，要用他的水車灌溉，必須先交錢。他也不準農民自己去河裏挑水澆田，挑水澆田也得給錢，因為陽江這一路的水都是他趙剝皮的。
有一次，有個農民家的禾苗馬上就要幹死了，他沒錢買水，隻好夜裏偷偷去陽江挑水。趙剝皮知道了這件事，當天就沒收了他的水桶，還把他打得半死。後來，人們隻好節衣縮食，湊錢買水，家裏實在窮的，便隻能眼睜睜地看著禾苗枯死，沒有收成。
趙剝皮家有個長工，名叫趙家。他心腸好，最願意幫助這裏的鄉親。平時他看哪家人手不夠用，就悄悄地去地裏幫忙。趙剝皮不在家的時候，他還把趙剝皮家的牛借給鄉親們用，或者偷偷地挖開田埂，讓水流過去灌溉鄉親們的田地。趙家這樣盡心盡力地幫助窮人，大家都很喜歡他。
趙剝皮發現前來買水、租牛的人漸漸少了，覺得很奇怪，就派狗腿子出去打聽是怎麼回事。知道事情的前因後果以後，趙剝皮氣得火冒三丈，把趙家吊起來狠狠地打了一頓，然後一分錢工錢也沒給，就把他攆出了家門。
鄉親們看見趙家身上被打得青一塊紫一塊的，就像自己挨了打一樣，特別心疼。他們這個找藥，那個包紮，東家送熱水，西家送糧食。一個月不到，趙家的傷就好了。他剛能下床，就跟以前一樣，下地幫大家幹活，幫完這家幫那家。
可是鄉親們卻更窮了，沒錢買水，禾苗經常旱死，大家都很發愁。村子裏年紀最大的老人突然想起來，在白牛山的山腳下有個泥塘，塘裏有一頭大白石牛，在牯牛山上的石欄中也有一頭水牯牛。老輩人說，不要看這兩頭牛是石頭做的，但隻要是好心腸的人，就能請得動他們。話是這麼說，卻從來沒有人試過，現在實在沒有辦法了，就試一試吧。最後大家都讚成老人的想法，讓趙家去試試。
趙家帶領大家來到白牛山的山腳下，趙家說：“白牛，白牛，起來和我們一起去耕田吧！”真是奇怪，爛泥塘裏睡著的白石牛真的突然爬了起來。趙家拉著大白牛，和大家又一起來到牯牛山上。趙家說：“牯牛，牯牛，起來和我們一起去耕田吧！”還真是奇怪，隻見趴在石欄裏的水牯牛也站了起來。趙家拉著兩頭石牛來到地裏，給它們安上犁，大白牛在左邊，水牯牛在右邊，就這樣嘩啦嘩啦地耕起地來。白牛的力氣大，趙家的力氣也大，牯牛跑得快，趙家跑得也快，不到兩天，鄉親們的田就都耕好了。這兩頭石牛不僅會耕田犁地，還能背水灌溉，陽江的水不讓用，它們就天天馱著大桶到漓江去背水。鄉親們再也不用向趙剝皮買水了。
因此，趙剝皮更恨趙家了，總想將趙家置於死地。
有一天晚上，趙家牽著水牛從漓江背水回來的路上，正在山腳下坐著休息時，突然從背後打來一悶棍，他立刻昏倒在地上，接著又被人在身上猛戳了幾刀。勤勞善良的趙家就這樣被地主趙剝皮殺害了。
大家很快就知道了趙家被人暗害的消息，悲痛之餘，又都滿心憤恨。他們都清楚是趙剝皮下的毒手，但就是無處申冤。縣老爺和趙剝皮同流合汙，根本不管老百姓的死活。大家流著淚將趙家葬在了白牛山和牯牛山中間的小山上，想讓他的墳對著那兩頭石牛和他生前幫大家耕種過的田地。從那以後，這座小山就叫做趙家山了。
趙家下葬那天，天突然變得陰沉沉的，山上站滿了趙家幫助過的人，哭聲震天動地，流出的眼淚漲滿了陽江。第二天出現了一件怪事。趙家的墳頭上長出了一根苗，這根苗眨眼間就長大了，像葡萄藤一樣。它長啊長，由趙家山跨過了陽江，又搭到了白牛山的山頂。然後它一下子開了一百朵黃花，每朵花都有碗口那麼大，香氣撲鼻，鄉親們在地裏就能聞到花香，幹起活來更有勁兒了。
到了晚上，就更加奇怪了。一百朵黃花變成了一百盞明燈，方圓幾十裏的田地都被照得亮堂堂的。這時，大白牛和水牯牛也從地上爬了起來，它們來到趙家山前，繞著山走了起來。快看啊，趙家山一圈一圈地轉了起來，河水從陽江轉到了趙家山的山頂，又從山頂緩緩地流到了鄉親們的田地裏。
第二天一大早，鄉親們的田全都灌溉好了。兩頭石牛躺回它們原來待的地方，趙家山也不再轉動了，一百盞明燈又變成了一百朵黃燦燦的鮮花，花兒依然芬芳四溢。
趙剝皮殺害趙家以後，以為窮人們缺少了趙家的幫助，一定會來求他的，可是過了好幾天，還是沒有半個人影來找他。他覺得特別奇怪，又讓那幫狗腿子去打探消息。狗腿子回來把趙家山的事情告訴了他，他怎麼也不肯相信，出去一看，果然看到趙家山和白牛山的山頂上有一根開著黃花的大粗藤。他非常生氣地走到趙家山上，正好聽見黃花藤上有隻小鳥在不停地叫：“趙家不死，萬萬年！趙家不死，萬萬年！”
趙剝皮聽後更惱火了，命人挖爛了趙家的墳，還灌進了鐵水，又叫人砍斷了黃花藤。黃花藤被砍斷後，一直流了三天三夜的鮮血，把碧綠的陽江水染成了紅彤彤的顏色。
趙剝皮以為這下總算可以放心了，哪裏知道趙家用過的兩頭牛還是照樣給農民們幫忙，而且它們還把趙剝皮的水車撞爛了。趙剝皮氣壞了，立刻帶著狗腿子去教訓石牛。石牛被惹怒了，把趙剝皮和他的那幫狗腿子一起撞到陽江裏淹死了。從此，這裏的人們過上了安逸的日子。可是人們永遠也不會忘記趙家的恩情，農閑的時候，他們都會去趙家山祭拜這位幫助過大家的好心人。