書院下過到盤穀來， 中間有個罩，有個大祠堂，有條小路，路旁有個小井，如今這個井可能還在，也可能填掉了，我們（過去）都看到了。它的意思就是講個傳說，那個地方有個神仙一樣的人，從書院下過來，到井裏擔水，擔的水擔到哪裏去呢？擔到而今這個大祠堂，這個祖祠這裏，祖祠的後門，把水潰倒在這裏。那個時候，施家的祖宗埋在這裏，（擔水倒在這裏）就有句話， 叫作“澆你的屍，澆你的靈，澆殺你施家發李家人”，大概是個這樣的意思。結果有個什麼神仙就在每天雞叫以前去聽，聽了三個晚上才知道（那個人擔水的真正目的），他就去告訴施家人，趕快搬走，不搬走你施家人就沒了，一個都救不了。 當時施家還剩有二三十戶人家，（聽了這個神仙的話）就全部搬走了。如果去尋，這個小井的舊址都還可能尋得到，這我都知道，我都看過（這個小井）。
這是一段很不流利的原話，但大體能分辨出具體的故事梗概：李祖堯開基舊宅第，周邊是施姓人家土地，且施姓祖墳葬在那兒。李姓後裔中，有人在每天天不亮且人沉睡的時候，到離穀村約二裏遠的一口水井裏挑水，灌入施家祖墳，邊灌邊對著施家祖墳念“澆你的屍，澆你的靈，澆殺你施家發李家人”的咒語。這個李姓人的行蹤不巧被一個什麼神仙發現了，那個神仙每天都在雞叫之前跟蹤那個李姓人，去聽他念些什麼。聽了三個夜晚之後，明白了李姓人的真正目的在於詛咒施姓人家，大吃一驚，連忙去告訴施姓人氏，叫施姓人家趕快搬走遷往他鄉，
不搬遷就有可能被李姓的咒語給咒沒了。
施姓原本是當地大姓，有一百多戶人家，後來逐漸萎縮，人丁減少，到李姓人挑水澆他們施家祖墳時，尚剩二三十戶人家。施姓人家聽了那個神仙的話之後，果然全部遷往他鄉。於是，施姓人家的土地自然歸李姓人家所有了。
李庭瑞老先生年少時曾經見過尚存的施家祠：
這個地方原來真正是姓施的，我都看到了。包括比我更小的，都看到了，這個地方原來有個施家祠。 當時剛剛一解放的那個鄉長，就是吊死在這個施家祠堂裏，是共產黨的第一任鄉長。這個祠堂五幾年都一直在，毀就毀在1958年大煉鋼鐵。這個祠堂當時還在，在哪裏呢？就在如今上節和下節交界的地方，這個地方一個大擴。據講，這個施家祠堂在當時來講，（李姓）開基祖到這個地方的時候，施家大概都是一百多戶人家，後來就全部搬走了。
李祖堯開基時就已經存在的施家祠，在穀村這個地方挺立了一千多年，李庭瑞老先生在1950年的時候親眼見過，而且比他年紀小的人也見過，那時他們大約十二三歲。施家祠後來被毀，大約毀於1958年的“大煉鋼鐵”時期，祠堂的木材都被扛去煉鋼鐵了。
這所施家祠的存在，證明李姓的拓展不是一墩而就，而是一個慢慢推進、逐漸擠占的過程。包括施姓在內的其他姓氏，隨著李姓的逐漸壯大、拓展，生存空間則逐漸縮小並變得逼仄。麵對著李姓的日益強盛，他們不知不覺中變成了弱小勢力，最後隻好抱著“惹不起隻有躲得起”的心態，極不情願又含悲忍痛地離開這片居住了若幹世代的故土，遷往異地他鄉另謀生路。
隨著時間的推移，人口的不斷繁衍，穀村李氏向外擴張拓展成為必然之勢，必然衝破原有的土地局限，與周邊其他姓氏爭奪土地資源，以便容納日益增多的子孫後裔。而其他姓氏隨著李氏的日益增長壯大，逐漸地由大姓、強姓淪落為小姓、雜姓、弱姓，最後不得不外遷以另謀生計與發展。雖有不甘，但無可奈何。不論以何種方式，和平的、武力的，強據的、購買的，小姓與雜姓的外遷最後都成為必然，他們共同成就了穀村李姓的一家獨大，使穀村成為李姓單獨所據的村莊，成為今天最大的自然村莊。
原屬羅姓的土地，穀村李姓通過購買獲得。《穀村仰承集》所載《祠宇祀典》記載如下：“光緒辛巳，合族將所買羅姓黃橙溪基址拆毀，新大祠舊料添新換舊，移建新大祠於其上，改北向東。”
原屬龍姓的土地，穀村李姓通過購買嶺口的土地與龍姓置換。據介紹，龍、李雙方是本著自願的原則交換，“沒有使用暴力手段”。人們可以想象得到：作為小姓的龍姓人家，生活在日益壯大的李氏旁邊，麵對李氏日益向外擴展的趨勢，明知自己難以抗衡，隻得像施姓人家一樣，外遷他地求生存。這時，李氏到東北方向的嶺口購買土地，與龍姓交換，龍姓有了另行發展的地盤，李氏則有了村莊拓展的地盤，雙方皆大歡喜。
在那些不得不外遷的異姓人氏族譜上，不知是否記載了他們祖先的這段辛酸與苦澀的曆史，是否記載了與穀村置換土地、家產的典故。然而，不論記載與否，於他們而言，或輕或重，感受到的恐怕都是一份無奈，一份失落，一份屈辱。當時的他們，無論何種方式，所麵臨的，都是“背井離鄉、流離失所”所應該承受的代價，不僅有物質上的代價，更有精神上的代價。
誰讓穀村變得那麼大呢？
五、集分的族群
―非同異常的繁衍能力，幾何級數的人口增長，使“樹大分權，患大分家”，一個單一姓氏村莊的不斷拓展，導致自身生存空間的逼仄，於是子孫的外遷就成為曆史的必然。
有著神奇開基的穀村，盡其所能地展示其“大”。而最能體現其“大”的直觀特征，便是這個龐大族群的分徙遷移。
《穀村仰承集》有這樣的記載：
樹茂根深，源遠長流。後唐天成二年丁亥三月間，吾祖堯公立業穀村，祥發至今，千數十年間， 由一戶數口，繁衍戶逾千家，子孫七千有餘，位居吉水第一最大村落，真可謂世代昌盛。―摘自吉水縣人民政府原縣長助理的李庭瑞1993年4月所作《＜穀村仰承集＞第七版序》。
穀村李家由基祖祖堯公創建於唐朝。經過一千多年繁衍生息，現在，除曆代遷居別省、別縣的以外，本自然村有六個行政村，加上移居毗鄰鄉村的共有二千二三百戶，上萬人口，都姓李。一公子孫，是江西省數一數二的大自然村。解放初期，行政區劃為盤穀鄉，可謂“小小盤穀鄉，大大盤穀村！”―摘自穀村後裔、安福縣人大常委會原副主任李仁生1993年4月1日所作《重印（穀村仰承集＞序言）》。
吾族穀村開基自後唐天成二年， 以迄於今， 中更七姓，及本朝之盛，殆曆八百有三十年矣……―摘自穀村三十四世孫李先蕃在清朝乾隆二十年乙亥（1755年）臘月望日所作《先祖康齋公穀村李氏記原序》。
這三段文字，十分鮮明且十分張揚地向世人展示著穀村李氏宗族的“大”，赫然顯示著這種“大”的特征；穀村李氏在向外人介紹自己故裏與祖籍的時候，無不自豪而又驕傲地宣稱著“穀村”這個名字，來凸顯自己與眾不同的身份和內心無比的驕傲。
也該當穀村李氏驕傲，誰讓人家的村莊有那麼大呢？誰讓人家就出生在那麼大的一個村莊呢？這就像分粟的作物那樣，一叢一叢，一簇一簇，一團一團，從他們的開基祖那根主莖上分粟出來，形成一個方圓五公裏、人口一萬多的自然村莊，構成一個聚族而居的龐大族群。那麼大的族群聚眾而居，他們能不感到自豪而且驕傲麼？
盤穀鎮境內還有兩個不小的族群，一是周姓，一是曾姓，與穀村相鄰而居，相距不過七八裏。周姓有著“周家周滿天”的顯赫宣示，有著“周家衝裏十八個門頭”的輝煌標識。十八個門頭，就是十八個村莊，連綿坐落在一個山衝裏，那是怎樣的一種壯觀呢？十八座門頭衍生出來的子孫後裔，人口超過一萬，因此他們在向外人介紹自己故裏與祖籍的時候，同樣不無驕矜地宣稱：“周家衝裏，知道吧？十八座門頭啊。”曾姓有三個大村莊，上曾家村四五百戶，下曾家村二三百戶，下石懶村五六百戶，人口也有七八千。曾姓人氏在向外人介紹自己故裏與祖籍時，同樣自豪而驕傲地說“盤穀姓曾啊”，聽者往往肅然起敬，因此民謠中有著“曾家爭隻角”的演繹。這種心理，與穀村李氏的心理完全一樣，骨子裏同樣有一種“大”的情愫在向外流溢。
然而，令穀村李氏更為驕傲的在於，他們的村莊是一個連綿、完整的自然村莊，這是其他姓氏無法與之比肩的。因此，他們宣稱自己是“江西第一大村莊”，“全國第二大村莊”。
這個“最大”的自然村莊， 自從李祖堯開基以來，便有著非同尋常的繁衍能力，以比幾何級數還大的級數繁衍著無數的後裔，膨大著複雜的族群，形成了六個行政村，過去曾叫高級合作社、生產大隊，後經2003年撤並，合並為老屋、小祠下、太園三個行政村。
依據《穀村李氏族譜》和《穀村仰承集》的記載，其族群的分派，是從其第13世開始的，分別衍生為月岡―元潭派、月洲派、鼓樓派。有了這三派血脈的分衍，穀村李氏子孫似乎更加興旺發達，粟分的枝蔓越來越多，越來越廣，許多子孫外遷異地他鄉開基立業，，繁衍生息，繼續壯大血脈與族群。如今的穀村，已經成為一個本村人口眾多、外遷後裔很廣的望族，成為外遷後裔精神的寄托之地。
《穀村仰承集》記載了當時外遷族裔的分徙情況，其中分徙本縣各村的計有20處，分徙廬陵計有17處，分徙永新計有12處，分徙永豐計有兩處，分徙泰和計有4處，分徙安福計有兩處，分徙萬安計有兩處，分徙本省各縣計有7處，分徙外省各縣計有9處。這份記載比較詳細，不僅注明了從穀村遷徙出去的李姓子孫落腳地之地，而且注明了他們血脈派係的源頭，有的甚至注明先徙居何處再遷何處，源流廓清一目了然。
《穀村仰承集》所載《祖德·分徙遠近各地考》記載：
我穀村分徙之地多矣，遠則雲南四川，以及兩廣、兩湖、河南、浙江，無地不有。年湮世遠，不惟不知其有無嫡裔，並不知其有無地名。茲編所載，惟查其先輩曾有來往，並我縣府誌俱載其科名者，斯列之餘，則不能備詳也。
這則“考記”明白地告訴人們，穀村外遷的族群還有許多既“不知其有無嫡裔”，也“不知其有無地名”，因此重修族譜時，外遷的許多子孫後裔未能編入穀村李氏總譜。
穀村李氏外遷的地方確實很廣，采納幾例以為佐證：
安福錢山李氏，宋紹興二年（1132年），李方寅由吉水穀村徙居安福錢山，為錢山“西平李”的開基始祖。
新餘水西鄉嘉山村李家，現有二十多戶一百二十多人，明洪武年間，由吉水穀村李家遷此。
新餘河下鄉河下村壩裏李家，李姓始居， 由吉水穀村李家遷此。
福建武平李氏，原居江西吉水縣穀村。元代末年，穀村月洲派長房第22世裔李仕誠，為避匪亂， 由穀村遷居武平城北，成為武平城北李氏始祖。
湖南桂東李氏，始遷祖李林綱，字克舉，“元時因兵焚自江西吉水穀村遷湘，開基於桂東縣宜城鄉之西城。族人分布於桂東四都、西靖鄉以及資興、汝城、藍山等縣。至1948年，已傳23代，共2900餘人。宗祠在城西”。
江西省新幹縣大洋洲鎮，有一個新市李家村，就是穀村李氏後裔。開基祖李千載，是李祖堯的第六代孫，是西平忠武王李展的第十三代玄孫，屬月洲派。他在新幹縣大洋洲開基時，還有他的祖父李汝明陪同。隻身前去開基的李千載，在那兒落地生根，開花結果， 目前已經繁衍成一個擁有約160戶670口人的村莊。1990年，該村重修族譜，村裏派人到穀村對接族譜，這才知道他們先祖生活的村莊，竟然是那麼大的一個村莊。該村後裔、現任萬安縣人大常委會副主任的李桂平先生，在他的著作《被顛覆的村莊》一書中這樣描述：“回來的人驚歎萬分，原來穀村是丫個好大好大的村莊，人口超過萬人。村裏人在驚歎祖宗繁衍能力的時候，也不免對穀村心馳神往，那地方太養人了。”李桂平先生也親自到穀村拜渴過先祖，承認“穀村的確是一個很大的村莊”。作為一個思想上的清醒者，他對穀村的“大”有著獨特的視角與評判：“因為出奇地大，所以淩亂不堪，卻絲毫掩蓋不了穀村昨日的輝煌。”對自己先祖生活過的村莊，話裏依稀流露出一絲淡淡的自豪。
峽江縣仁和鎮烏口村李氏，穀村李氏後裔，北宋神宗熙寧年間開基，至今已有九百四十多年。該村基祖李其庶孤身一人擇址開基，如今已分衍出江源、坳上、石破等村莊。該村村民談起他們祖先曾經生活過的穀村時，臉上無不湧起向往與羨慕的神色。可以想見，在他們的心目當中，穀村那麼大，有著興旺發達的家業，同樣是他們作為穀村外遷遊子的無上榮耀，他們的心底裏同樣湧動著一種“大”的激情，一種“大”的自豪與驕傲。
從穀村外遷的後裔，有的遠遊海外。上世紀90年代，吉水縣人民政府辦公室曾接待過從美國前來穀村尋根問祖的李姓後裔。對此，吉水縣旅遊局原局長、吉安市博物館館長李希朗感受更為深刻，他接待過的李姓尋根後裔不計其數，經常陪同他們前往穀村尋覓祖先曾經生活過的痕跡。