四靈與葉適的契合，還有更深層次的原因。程千帆先生在其《兩宋文學史》中提出：“作為永嘉學派的宗主，葉適的文學思想無疑地對四靈有直接的影響，他既反對朱熹的貶抑唐詩，又不滿於江西詩派隻學老杜一家的局限，因而大力肯定四靈的複尊唐體。……所以四靈的出現，實是對江西詩派的反動；但就其思想根源而言，卻又和永嘉學派對抗程朱理學有關聯。”程千帆、吳新雷《兩宋文學史》，第448頁。
我們還記得葉適在《徐道暉墓誌銘》中曾說過：
然厭之者謂其纖細而害道，淫肆而亂雅，至於庭設九奏，廣袖大舞，而反以浮響疑宮商，布縷繆組繡，則失其所以為詩矣。
其中“厭之者”當是指理學家，因為“庭設九奏，廣袖大舞”，正是理學中人的形象。理學家從維護道統的角度出發，一味抹殺詩歌特性，連杜甫的詠物詩也被認為是“閑言語”程顥、程頤《二程遺書》卷十八 ，《二程集》，中華書局，1981年，第239頁。即便號稱開明的朱熹也認為，“道者，文之根本；文者，道之枝葉”朱熹《朱子語類》卷一百三十九，中華書局，1986年，第3319頁。要“刮落枝葉，栽培根本”朱熹《朱子語類》卷八，第144頁。，要求詩歌維護道統。而在葉適看來，這些都是迂腐可笑的見解，他駁斥說：“邵雍詩以玩物為道，非是。孔氏之門，惟曾晰直雲浴乎沂，風乎舞雩，詠而歸，孔子與之。若言偃觀蠟，樊遲從遊，仲山揖觀射者，皆因物以講德，旨意不在物也。此亦山人隱士所以自樂，而儒者信之，故有雲淡風清、傍花隨柳之趣，其與穿花蛺蝶、點水蜻蜓何以較重輕，而謂道在此不在彼乎？”葉適《習學記言序目》卷四十七，中華書局，1977年，第706頁。這種以子之矛攻子之盾的方法讓理學諸人無言以對，在此基礎上，葉適提出：
古詩作者，無不以一物立義。物之所在，道則在焉。非知道者，不能該物；非知物者，不能至道。道雖廣大，理備事足，而終歸於物，不使散流。葉適《習學記言序目》卷四十七，第702頁。
所以詩作當以摹寫物象而非說道談理為基礎。而（晚）唐人詩作“取成於心，寄妍於物，融會一法，涵受萬象”葉適《徐道暉墓誌銘》，《葉適集》，第321頁。，這正是“因物以講德”、“以物立義”，契合“古詩作者”，也契合他的“物之所在，道則在焉”的理論。葉適也因此才提倡唐詩、提攜四靈，才會嘲諷理學諸人貶抑唐詩是“以浮響疑宮商，布縷繆組繡。”（朱熹之父朱鬆說，“至漢，蘇、李渾然天成，去古未遠。魏晉以降，迨及江左，雖已不複古人製作之本意，然清新富麗，亦各名家，而皆蕭然有拔俗之韻。至今讀之，使人有世表意。唐李、杜出，而古今詩人皆廢。自是而後，賤儒小生，膏吻鼓舌，決裂章句，青黃相配，組繡錯出”朱鬆《上趙漕書》，《韋齋集》卷九，四庫本。，不知葉適提到的“組繡”是否與朱鬆這段話有關。）譏笑他們對詩歌的理解是“布縷”，是本末倒置，“失其所以為詩矣”，把作為詩歌的必要條件也丟了。
至於說葉適“又不滿於江西詩派隻學老杜一家的局限”，可參看葉適的《徐斯遠文集序》：
慶曆、嘉祐以來，天下以杜甫為詩 ，始黜唐人之學，而江西宗派章焉。然格有高下，技有工拙，趣有深淺，才有大小。以夫汗漫廣莫，徒枵然從之而足充其所求，曾不如脰鳴吻決，出毫芒之奇，可以運轉而無極也。葉適《葉適集》，第214頁。
從這段話可知，葉適不滿江西詩派，並不是嫌他們隻學杜甫，而是不滿意那些“汗漫廣莫，枵然從之”的“格下”、“技拙”、“趣淺”、“才小”者。我們知道，宋南渡後，江西詩風廣為流行，規模之大，前無古人。但詩派壯大後泥沙俱下，弊病叢生：“近世以來學江西詩，不善其學，往往音節聱牙，意象迫切，且議論太多，失古詩吟詠情性之本意。”劉克莊《後村詩話》後集，卷二，第70頁。而四靈的詩歌，以近體為主，專意白描，力避用事，絕無議論，“脰鳴吻決，出毫芒之奇”，“斂情約性，因狹出奇，合於唐人”葉適《題劉潛夫南嶽詩稿》，《葉適集》，第622頁。，展現出與江西詩迥異的清新，實在是療救江西的好藥方，故此受到葉適的喜愛。