聾人題材漫畫的多模態分析
文化藝術
作者：李鳳英 賈振峰 徐冬梅
信息時代，人類交際多模態化特點日益凸顯，多種多樣的符號共同作用於交際過程。這其中圖像符號搭配文字符號使用最為頻繁。人類的思維和鑒賞習慣在新的視覺文化衝擊下悄然發生了變化，多模態分析能力日漸引入關注。而在眾多的圖文模態語篇中，漫畫就是其中一員。漫畫是以圖畫模態為主，輔以文字符號模態的多模態語篇。本文嚐試運用多模態分析的相關理論和框架分析聾人題材漫畫，旨在為解讀聾人題材漫畫提供一個新的視角。
一、多模態語篇分析的理論基礎
模態是指交流的所有媒介。除了語言符號以外，其他還包括了手勢、音響、圖像、顏色、視頻、音樂、技術等多種符號係統。具體語篇的意義和讀者對語篇的理解，是各種模態排列組合的結果。
話語分析早期以語言研究為主，後米逐漸延伸到其他模態。多模態話語分析以Halliday的係統功能語言學為理論源泉，20世紀90年代Kress&VanLeeuwen與O' Toole提出了視覺語法概念，自此多模態話語分析進入了快速發展時期。多模態話語分析理論倡導任何符號係統都是有意義的，而且認為語言外的其他符號模態也具有係統性和功能性特征。視覺語法以再現意義、互動意義和構建意義為主，分別相當於係統功能語法中的概念功能、互動功能和語篇功能。
二、多模態分析對聾人題材漫畫語篇的解讀
本文分析的漫畫選自韓國漫畫大師高英勳（Nasty Cat）所創造的漫畫《看不見聽不到的愛情》的漢譯本。漫畫敘述了一個失明的漫畫家與一個聾啞女孩的愛情故事。我們嚐試從再現意義、互動意義以及構成意義等三個方麵來分析漫畫場景。
（一）再現意義
Kress&Van Leeuxven針對係統功能語法中的概念意義，提出了視覺語法的再現意義。再現意義分為概念再現和敘事再現。矢量是區分概念再現和敘事再現的關鍵要素。概念再現相當於係統功能語法中的關係過程和存在過程。敘事再現則區分為行動、反應及言語和心理三個不同類別的過程。
視覺語法中矢量代表過程與方向的力量。一方麵，圖像敘事的參與者通過矢量相互連接達到敘事的目的，另一方麵，觀看者則通過矢量關係來判斷圖像敘事中參與者的互動關係。一般而言，圖像敘事中各元素構成的對角線矢量性質最為突出，又因為敘事圖像以矢量為標誌，發出矢量的參與者即為行動者，因此在敘事再現的行動過程中，非常容易辨別動作者，有利於觀看者理解圖像語篇意義。
《看不見聽不到的愛情》漫畫關於兩個人起床情節的一幅漫畫組合中，共有三幅漫畫。第一幅漫畫中間是桌子上的筆記本電腦，電腦屏幕正中間是打開的記事本，左側是男主人公失明的漫畫畫家，右下角露出一部分鬧鍾。男主人公與筆記本電腦之間形成一條無形的矢量斜線，表明了男主人公所關注的事務，又因為男主人的盲人特性，因此可以推斷出：他是在展示筆記本電腦中的記事本內容。第二幅漫畫中間是筆記本的一角，顯示的是記事本中間的一段文字“睡得好嗎”。第三幅漫畫前端三分之二是筆記本電腦的背麵，中間是女主人公，占據了三分之一的畫麵，後端右上角是男主人的身體的十分之一。女主人公和電腦屏幕形成另一個矢量，鑒於女主人公聾啞特征，並結合整個三幅漫畫，可以推斷出男主人公、筆記本電腦記事本展示的文字、女主人公形成一條無形的立體斜線，即矢量，鑒於交際主體的特殊性（盲聾）導致了該矢量不同於常見的矢量關係，具有自身的特殊性。這個矢量關係構成了敘事再現的言語過程，男主人公是話語的發出者（以筆記本電腦文字為媒介），女主人公是話語的接收者。這個言語過程表明了男主人公與女主人公之間的信息交流，也表明了男女主人公盲聾的特征，以及他們克服困難進行交流的特殊性。
（二）互動意義
Kress&Van Leeuwen視覺語法中的互動意義，對應功能語法的人際意義。互動意義由接觸、社會距離、態度和情態四個要素構成，體現了漫畫家、漫畫表征與觀看者的互動關係。
接觸是指漫畫中的參與者通過其目光的指向與受眾之間形成的一種想象中的接觸。根據漫畫中的參與者與漫畫受眾之間有無直接的視線接觸，可以分為索取和提供兩種關係類型。漫畫參與者與受眾是否存在直接的目光接觸，可以判斷漫畫是提供類還是索取類。
鑒於該漫畫主人公盲聾的特征，因此漫畫中的參與者男主人公幾乎沒有與漫畫受眾有直接的目光接觸，因此作品中的大部分圖像屬於提供類，意在向受眾提供欣賞和思考。然而也有一部分圖畫屬於索取類，例如第一卷中的一幅圖畫，圖畫的背景是窗戶，窗台上蹲坐這小貓，旁邊是一盆仙人掌。小貓麵向受眾，大大的眼睛注視著前方，有跟受眾進行充分的目光接觸。一方麵，可以理解為小貓對盲聾夫婦奇怪行為的好奇，另一方麵，似乎是在索取受眾對這對盲聾夫婦這些看似古怪又合情合理舉動的看法。另外，第一卷中一幅夫婦倆吃飯後並排躺在一起，麵向受眾，男主人公（失明）眯著眼睛，而女主人公（聾啞）則是眼睛睜的圓圓的，一方麵向受眾展示了盲聾夫婦生活的幸福快樂（提供信息），另一方麵，也是女主人公向受眾索取對他們幸福生活的關注和看法。