由此可見，像舒曼這些力主聯想說的理論家和藝術家，並不認為有什麼純粹的音樂。許多人喜愛音樂，從音樂中獲得愉悅，並不是因為欣賞聲音本身的和諧等，而是因為音樂能喚起視覺的意象（即聯想）。正是在這種意象的聯想中，人們流連忘返，暫時擺脫開實際功利的種種牽累，使心靈進入一種自由的狀態，而享受到美感。
然而，也有許多理論家和藝術家認為審美體驗與聯想無關。特別是到了現代主義藝術興起之後，許多人提倡純詩、純藝術，強調藝術的形式美，貶低藝術中內容的作用，由此，以自然和藝術的內容為依托的聯想說就遭到了沉重的打擊。在這些人看來，審美體驗不但與聯想無關，而且聯想還會妨礙審美體驗。他們的理由主要是：第一，自然和藝術的美都在形式而不在內容，例如幾個藝術家同時畫一個人的肖像，可他們畫出來的內容並不相同，有的可以富於特殊的意味，有的則意味全無，這種區別全看藝術家賦予肖像何種形式。這樣，欣賞者就不能靠題材喚起的聯想來獲得美感，反之，隻能在摒棄聯想的情況下，靠對藝術形式的直觀以獲取美感。進一步說，有的藝術則僅存形式，很難尋找到確定的內容，如圖案畫、美的瓷器、花邊、建築、無標題音樂等，都是一種“純粹的美”，這種美是在顏色、線條、聲音等媒介的獨特組合中見出的。在欣賞這些藝術時，欣賞者無須借助聯想就直接能獲得美感。要是在欣賞這些藝術時產生聯想，那恰好是走出了藝術境界，進入了實用境界，審美體驗就喪失殆盡。第二，在審美體驗中，隻有讓我們的注意力專注於一個獨立的意象上麵，凝神於一，不左顧右盼，才能沉醉於審美的愉悅之中。而聯想則使欣賞者精神渙散，從而導致意識由審美對象向非審美對象的轉換。所以聯想是妨礙審美體驗的。譬如我們遊頤和園，如果遊人不專注於園中的景色之美，見到古董就聯想到它比金子還值錢，見到昆明湖中魚兒遊動，就聯想到今天的晚餐上也許會有紅燒鯉魚……那麼所有的審美愉悅也就在這聯想中悄悄地消失了。
主張用聯想說來解釋審美體驗的人和反對用聯想說來解釋審美體驗的人，各有各的理由。那麼，聯想究竟是有助於審美體驗還是妨礙審美體驗呢？我以為應該從以下兩點來把握它。
第一點，應該把審美聯想和非審美聯想區別開來。非審美聯想相當於心理學上的自由聯想，這是一種偶然的、隨意的、雜亂的、不定向的聯想。例如，唐代詩人賀知章的小詩《詠柳》：“碧玉妝成一樹高，萬條垂下綠絲絛。不知細葉誰裁出，二月春風似剪刀。”顯然，在這首詩裏，每一個詞都表示一個意象，而每一個意象又都可以引起隨意自由的聯想。例如詩中“剪刀”一詞，就表示了一個意象，人們就可以由剪刀聯想到製造剪刀的鐵匠，再聯想到鐵匠流滿汗水的臉，再聯想到鐵匠的種種生活情景；或者由剪刀聯想到使用剪刀的裁縫，再聯想到裁縫剪裁衣服時的神情，再聯想到裁縫的種種生活情景；或是由剪刀聯想到使用剪刀的醫生—手術台—白大褂—病人—鮮血……。如果我們讀了這首詩，因“剪刀”一詞而引起這些純屬隨意的、無定向的、不受控製的聯想，這就是非審美聯想。這種毫無規則的、海闊天空的、無主題的聯想與詩本身相去甚遠，不能使我們進入詩所規定的情景之中，因而不但與審美體驗無關，而且還要妨礙審美體驗的產生。