很早很早以前有個二郎擔山趕太陽的傳說，其實就發生在萊州。據說二郎用一根扁擔挑了四座山來到渤海邊，當他忍饑挨餓到達西由的時候，被一個陡坡誆了一跤，膝蓋磕在附近的一推石頭上，流出的鮮血吧石頭都染紅了，挑的四座山扔在四周，其中一座甩在北麵一片沼澤的南邊。他一看扁擔也斷了，一生氣，便將散落在身後的三座山一下子扔在西北麵的大海裏，大步跨海而去。到底趕上太陽否，不得而知。到了明朝時期，朝廷從四川向山東大批移民，在西由及附近建村，其中原盛等姓的先人來到西由以北沼澤南邊立村，因身後靠一孤山，故取村名為“單山”，扔在海裏的三座山僅露三個山頭，因此叫“三山島”，被血染紅那堆石頭，自然就叫“紅石頭”了。從前海水直達西由北麵的陡坡，陡坡以北叫“崖下”或“海崖下”，陡坡向西一直延伸到西頭——街西頭村。後來由於日本倭寇不斷乘船侵擾萊州沿海。舊萊史載：“明洪武八年（1375年），朝廷在街西村設衛防倭”。“文革”期間，該村在村西圍牆下曾出土過數門鑄鐵大炮，炮身長一米有餘，上麵鑄有凸形“鎮海寨”三個大字。到了明朝中期，海水逐漸北退，三山島與西由之間漸顯陸地，防倭前線轉移到了三山島。萊史載：“明萬曆三十年（即1622年）萊州知府龍文明，因倭寇屢屢侵擾，奏請朝廷批準於三山島設立水寨，駐兵一營，戰船十八隻，水兵418名”。
以後三山島與西由之間漸成一片，除大潮外，不再受海水阻隔。在此期間，施姓漁民從長江口崇明島遷此立村，從事漁農生產，繁衍後代，三山島人口逐漸增多，並開通了與西由之間的便捷土路，在海水較深的地方，修建了一座木橋， 雙方的經貿往來更加緊密。
三山島人曆來以捕魚為主，農耕為副。主要捕撈工具是木船和舢板，以帆漿為動力，承載少，速度慢，遠海去不了，隻能在近海作業，產量很低，回港後（山南自然港汊，又叫南灣），將捕獲的魚蝦賣給魚販，魚販再用扁擔，手推車或驢馱運到西由及附近集銷售。由於過去他們的生活主要以糧菜為主，魚價很低，漁民以微薄的收入到西由集上買回生活必需品，一旦遇到天氣不好，漁民出不了海，耽誤了集日，漁民便會斷炊。上個世紀三四十年代，三山島和西由之間曾發生過矛盾，在西由某集日，西由的民兵在村頭設卡阻斷了三山島漁民趕集購物，就造成了三山島漁民生活嚴重困難。現在七八十歲的老人尚記憶猶新。他們的土地都在清水溝以南的濱海沙地，地薄水少，產量很低，根本不夠吃的，而且要涉水耕種，運輸十分困難。解放後很多年，三山島的漁民不僅無糧賣給國家，還由國家供應口糧，這種狀況一直延續到改革開放。由於當時三山島僅有一條通西由的路，相對比較封閉，雙方之間的各方麵聯係更加頻繁，在後來的鄉、區行政區劃中，三山島一直劃歸西由管轄，一直到1988 年三山島獨立建鎮。為了方便來往客商，有人便在西由和三山島之間的必經之地——紅石頭搭建了簡易涼棚，從事賣水、賣飯和充氣、補胎、維修自行車等有償服務活動，直到上世紀五十年代才結束。
三山島漁民的居住條件過去非常簡陋，大部分人家沒有院牆和街門，有的隻是用碎石堆砌起來的殘垣斷壁，到處是一片荒涼淩亂的景象。隨著社會的不斷發展，經濟狀況不斷改善，漁民的生活也不斷提高，特別在改革開放以來，沿海經濟發展迅速，漁民不僅改革了捕撈技術，增添了新的網具，還更換了大船，鐵殼船；動力由過去的帆漿變成了大功率的機械動力；捕撈範圍從近海擴大到遠海、遠洋。加之水產品價格不斷上漲（每斤從過去的幾分、幾角漲到幾元、幾十元、幾百元甚至幾千元），漁民的收入大幅度增加，各方麵發生了巨大的變化，家具實現了電氣化，舊房變成了新房、樓房，交通工具從步行、自行車、摩托車變成了汽車，貧窮的破舊漁村變成了富饒的小康村。三山島很早被稱作仙山，昔秦皇漢武都曾到此祭祀過，不少文人墨客也來此吟詩述懷。史載隋唐時期朝廷跨海東征都從這裏啟航，這裏也是曆史上的重要軍港之一。由於地處海邊，曆史久遠，曆代所留下的文物古跡很少，僅有神仙炕，蛤蟆石，大照壁等幾處景觀。傳說中的八大景觀大部分不存在。神仙炕就是山上的一塊較為平整的巨石，據說上麵的幾個小坑是神仙們喝酒的酒盅。蛤蟆石是在東北麵的一塊大青石，向北張著大口，麵向大海，裏麵能裝下好幾個人。從前漲潮時能沒於水中，落潮才能露出來。到了上個世紀五十年代，海水北退，大風漲潮時，海水仍能打進嘴裏。從此向西，僅能行人通過，後來逐漸連車馬也能通過，蛤蟆石再也喝不到海水了。大照壁在蛤蟆石東麵，由比較破碎的紅色岩石組成，下寬幾十米，高約十多米，上尖下寬，據說在海裏能看到它放出的金光。三山島共有三座連接的山峰組成，表麵均是風化的比較鬆軟的酥渣石，打進十幾米才是比較堅硬的石頭，但為什麼在山東麵有像蛤蟆石這樣堅硬的青石和紅色的大照壁？為什麼近靠大山而獨立於海崖沙灘之上？的確讓人費解。可惜這兩處絕無僅有的自然景觀在上個世紀“農業學大寨”時被當作建築材料而被毀掉。