首頁 >> 語言學
系統功能理論視閾下的多模態話語分析綜合框架
2020年01月08日 09:46 來源:《現代外語》2018年第6期 作者:張德祿 字號

內容摘要:

關鍵詞:

作者簡介:

  內容提要:雖然從系統功能語言學的角度研究多模態話語已經有二十多年的歷史,但其研究框架仍然有待完善。本研究在已有多模態話語分析框架的基礎上提出了一個改進的新模式。新模式具有多個優點。首先,它突出了系統特性,把對符號系統的認識和描寫作為多模態研究的先決條件,以利于在認識相關符號系統的供用特征的基礎上從中選擇更加合適的選項。其次,它強調系統功能的一體化,多模態話語從相關符號系統中選擇用以實現交際功能。第三,它突出了選擇的過程,在每個層次上都增加了對選擇過程的描述。第四,它突出了符號間性的研究。最后,本模式增加了對實體層的描寫,突出了實體包含的該符號的供用特征對意義選擇的限定作用,突出了技術性、物理性對符號選擇的影響。希望本研究能夠進一步促進多模態話語研究的發展,對于將來的發展動向和發展前景有一定啟示。

  關 鍵 詞:多模態話語;系統功能;綜合模式;符合間性;再符號化

  作者簡介:張德祿,同濟大學外語學院。

  基金項目:本文系國家哲學社會科學基金項目“外語本科生多元能力培養模式研究”(14BYY075)的研究成果。

 

    1.引言

  隨著科學技術,尤其是數字技術的發展,人類由單一語言媒介實現的交際模式逐漸被由語言、圖像、聲音等構成的復雜媒介實現的交際模式所取代。因此,對社會行為和意義的解讀應包括非語言符號等所有表意資源(Jewitt 2009:1)。基于此認識,20世紀90年代以來,社會符號學者以Halliday(1994)的系統功能語法為基礎,開始研究多模態語法,如視覺語法(Kress & van Leeuwen 1996)、顏色語法(Kress & van Leeuwen 2002)、音樂語法(van Leeuwen 1999)等。但它們的研究層次和方面存在差異。Kress & van Leeuwen(1996)在研究視覺語法時,主要根據Halliday(1994)對功能語法的研究探討圖像的功能。他們雖然根據意義類型建立了語法系統,但主要是通過實例進行探討的,他們研究的還主要是功能語法,而不是系統語法。而當他們研究顏色語法時,他們重點探討了顏色的切分特征,以及對它們選擇可以組成更大單位的媒介系統。這些切分成分顯然可以組成新的顏色類別,但如何給這些顏色單位賦予意義,沒有進行系統研究。O'Halloran(2004)運用系統功能語言學的功能模式來探討多模態話語;Norris(2004)則主要從社會互動的角度探討多模態行動話語,但他們都沒有探討這些模態的語法系統和意義系統。Matthiessen(2007:23)意識到了多模態語境與語言語境之間的區別,提出了在語境層面上,主要變化發生在話語方式上的論斷。Machin(2007)探討了多模態語篇分析的方式和角度,為對它們進行系統描述提供了很好的啟示,但研究本身不屬于系統描述。O'Halloran & Smith(2011)致力于探討多模態研究中的問題和領域,但卻沒有探討對符號系統描述的必要性。后來發展起來的多模態隱喻研究(Forceville 1996;Forceville & Urios-Aparisi 2009)主要探討具有多模態隱喻的語篇特征,沒有研究系統特征。馮德正(2011)還從系統功能語法的角度對多模態隱喻的構建與類型進行了系統闡釋。Halliday & Matthiessen(2014)對情景語境概念進行了探討,提出了“分工說”,認為在多符號系統交際中,符號系統在語境層面就開始了分工,但沒有探討更加廣泛的文化語境的變化。Kress & van Leeuwen(2001:4-7)提出了話語(discourse)、設計(design)、生產(production)、分布(distribution)四個概念作為多模態話語分析的四個層次,把重點放在對多模態話語生成過程的研究上,但沒有說明,它們與語境、意義、形式、媒介等層次之間的關系。Bateman et al.(2017)對多模態話語分析所涉及的理論基礎和概念進行了比較系統的探討,特別是提到了符號系統的問題、交際語境的辨認、物質材料的表義能力等,但他們重點是探討多模態語篇分析的方法和步驟,沒有對相關問題進行深入探討。

  綜上所述,多模態話語研究中仍然存在的不足包括以下幾個方面:1)語境概念沒有根據多模態的特點進行深入研究,需要重新定義;2)對于非語言符號的系統特征描述不足,需要進行描述和研究;3)需要理清Kress&van Leeuwen(2001:4-7)以話語生成過程為基礎提出的四個層次與在語言學基礎上提出的四個層次之間有什么關系。這樣,多模態話語分析中相關的研究問題是:1)如何建立起一個多模態話語研究的語境理論?2)如何對非語言符號的系統特征進行描述和研究?3)如何把以話語生成過程為基礎提出的四個層次與在語言學基礎上提出的四個層次之間的關系理清楚,并在此基礎上構建一個將系統和功能綜合為一體的多模態語篇分析模式。

  2.理論探索

  根據上節提出的研究問題,本節重點對多模態語篇的語境、符號系統、符號之間的關系、多模態語篇的構建幾個方面進行探討。

  2.1 多模態語篇的語境

  根據系統功能語言學理論,語境主要分為文化語境和情景語境(Halliday 1973,1978)。20世紀70年代,Halliday提出了語言是社會符號的觀點,認為“社會現實(或‘文化’)本身是一個意義構體——一個符號構型。從這個角度講,語言是組成文化的符號系統之一;一個獨特的符號系統,因為它可以是許多其他(不是所有)符號系統的編碼系統。”(Halliday 1978:2)所以,語言也是文化的一部分。但是,單從語言的角度看,它還可以體現行為系統,稱為“行為潛勢”(behavioural potential),而行為系統在文化中是實現意義系統的。這表現了語言的文化語境與多模態話語的文化語境的區別:在語言的文化語境中,交際行為是語境因素,支配意義的選擇,而在多模態文化語境中,交際行為本身可能是體現意義的某種模態,是和語言一樣的符號系統。與此同時,文化包括思維方式、行動方式、信念和價值觀,意識形態等。后來,他又把社會系統(包括社會結構)作為文化:“社會系統,我認為是與文化同義的”(Halliday & Hasan 1985:18)。這樣,多模態話語的文化語境就成為整個文化的意義潛勢,在內部表現為這個文化所共有的意識形態,在外部表現為這個文化的社會系統,在社會行為上由體裁結構潛勢表現,可由圖1表示。

  這樣,多模態話語的文化語境就是整個文化的意義潛勢,而多模態語篇的意義系統是由參與多模態語篇建構的符號系統的意義系統共同組成的。

  Halliday把情景語境視為文化語境的一個實例,一個產生語篇的語境(Halliday 2007),認為情景語境由三個變項組成:話語范圍(field),指發生了什么事,從事什么活動等;話語基調(tenor),指誰和誰談話,他們之間的角色關系是什么;話語方式(mode),指語言在語境中的作用。這個語境框架是針對語言做出的。

  在語境概念從單純的語言語境擴展到與其他符號系統的共同語境時,語境概念本身也隨之發生變化。在語言的情景語境中,語言之外的與本交際活動相關的其他符號系統,如動作、行為和工具性的圖像、動畫、雕刻等,都被看作語境因素,但在多符號交際過程中,參與交際的符號系統都從語境轉化為模態,體現交際的意義。在具體的語境變項中,模態的變化主要表現在話語方式中,簡單的口語和書面語的區別變成了多種模態之間或多種模態組合之間的區別。根據圖1,情景語境實際上成為與交際事件相關的社會系統和社會行為組成的意義外部表現形式①。

  針對語境概念的這種新變化,Halliday & Matthiessen(2014)提出了“分工說”,認為在多符號系統交際中,符號系統在語境層面就開始分工,如語言和手勢的分工(見圖2)。這樣,話語方式指在這個情景中,語言和其它符號系統各起什么作用,包括:1)符號活動和社會活動的分工;2)語言活動和其它符號活動的分工等。(Halliday & Matthiessen 2014:33)。從圖2可見,在一定的情景語境中,社會交際的意義可以根據不同意義系統的特點,由某個、或兩個或多個符號系統體現,如可以由口語體現,也可以由口語與手勢共同體現等。也就是說,在一定的語境中交際的意義根據各符號系統不同的“供用特征”(affordances)的特點(Kress & van Leeuwen 2001),而被分配給不同的模態來體現。

  2.2 符號系統

  意義潛勢 每個符號系統,如語言一樣,都是一個意義潛勢(meaning potential)(Kress & van Leeuwen 2001:28),亦稱意義資源(meaning resource)或供用特征(affordances)。在多模態話語研究中更加強調符號系統的資源性特點,因為很多符號的系統性難以描述,特別是一些零散、短暫和孤立的符號,如時尚服裝的符號意義延續時間比較短,與它同系統的符號及其之間的關系不易捕捉和描述。用意義資源可以更加確切地表示符號的這些特征。供用特征是“生態心理學”(ecological psychology)用語(Gibson 1977),表示事物具有潛在可用性或功能,在社會符號學中用于表示符號的意義潛勢。雖然符號系統的意義潛勢有交疊和重合,但大部分各有其意義范圍和局限性。例如,簡單的符號系統如交通信號,只能用于指揮交通,不能用于聊天等其他的交際事件中。語言雖然是一個幾乎所有意義都可表達的符號系統,但在特定語境中表達某些意義的能力可能不如其他模態更有效。例如,圖像可以表示真實事物的形象,語言無論描述多么形象,都不可能和圖像一樣表現的那么逼真。交際者選擇多模態來進行交際則是采用各種模態的特長和優勢,更加有效地完成交際任務。這就是為什么我們需要選擇不同的模態來實現同一個語篇的意義。

  類別 可用于社會交際的符號系統無數,可分為不同的類別。首先,符號系統可以分為簡單符號系統和復雜符號系統。簡單符號系統指符號系統中特征的意義和媒介是一一對應的,如交通信號系統、兒童語言等,Halliday(1975)曾稱它們為“兩個層次”(two-level)的符號系統。這些符號系統可以認為是只有詞匯,沒有語法的簡單符號系統。復雜符號系統指像語言一樣,意義系統和媒介系統各有自己的系統,相互是體現關系,但不一一對應。它的特點是在形式層面不僅有詞匯,也有語法。詞匯語法可以重新組合體現意義,同時,也可以被媒介經重新組合體現。第二,符號系統還可以分為動態的,如口語、舞蹈、動畫,和靜態的,如書面語、圖像、表格等。動態的符號系統在時間中變化,所以,更加復雜和難以描述和分析。第三,符號系統還可以根據維度分類:一維符號系統是線性的,如口語、書面語;二維系統是平面性的,如圖像、圖標;三維的靜態符號系統是立體的。這樣,就會出現一種特殊的現象:在二維符號系統中屬于語法的現象,在線性的符號系統中則需要在語篇層面來處理;同樣,在三維符號系統中是語法現象的,那么在二維符號系統中則需要通過語篇層面來處理。

  子系統 從系統功能語言學的系統概念來看,系統具有精密度,據此可以探討符號系統中更加精密的系統,即其子系統。這也是多模態話語分析理論研究中的一個弱項。例如,視覺語法把所有的視覺符號視為一個類型,但視覺符號類別繁多,不同的符號類別具有不同的特點。例如,繪畫類圖像象似性強,任意性弱;簡筆畫和素描畫則象似性減弱,規則性和任意性增強;表格和圖形則任意性更強,只有專業人士能解讀。它們雖然有一些共性,但也具有獨特性,應該屬于不同的符號系統,或者是其子系統。如不加區別,則會影響研究成果的有效性。另外,在每一個次分類中,還會有更多的次級分類。對于相關符號系統的次分類的研究應該達到什么精密度需要根據研究的需要確定,也是需要進一步探討的問題。

  詞匯語法 Kress & van Leeuwen(1996,2002,2006)從功能視角研究視覺語篇和顏色語法,根據Halliday的功能語法理論,發展了體現表現意義、互動意義和組篇意義的功能語法,分別是體現表現意義的表現結構;體現互動意義的凝視、視角、距離、情態等語法特征;體現組篇意義的凸顯、信息值和定框等語法結構。由于大多數多模態話語的研究都是探討語篇的意義模式,它對客觀現實的表現,社會交際的目的、權力關系、意識形態等的體現,再由于大部分多模態話語分析很少研究符號內部的詞匯模式和語法模式,以及它們和其他模態共同構建的所謂多模態語法模式,多模態詞匯語法的形式特征研究偏弱。如上所述,有的符號系統只有詞匯;它們本身無法構建語法結構。這從另一個方面說明,它的詞匯的意義和具有語法結構的詞匯的意義不同。每一個這樣的符號都可以體現大體上是一個句子的意義。例如,在交通信號中,顏色無法組成語法結構,即紅-綠-黃不是句子,而是語篇,組成一個循環結構。每一種顏色都行使一個類似句子的命令:行!停!準備(行或停)!而復雜符號系統則具有很多變項,例如線性語法結構,如語言語法;平面圖形語法結構,如圖表、圖形、圖像等的形式結構;多面三維符號的語法,如建筑圖像的結構。

  還有一個需要研究的議題是如何在詞匯語法層面將從不同的符號系統選擇的特征構建到一個起核心作用的符號結構中。這是符號間性研究的主要領域,還需要做更多的研究。

  系統選擇 多模態語篇的構建也和語言語篇一樣,是在情景語境的促動下對意義的選擇。所不同的是,它不只是促動對一個符號系統意義潛勢的選擇,而是同時促動對兩個或多個符號系統的選擇。例如,在老師上課時,老師不僅要開口說話,同時,還需要以一定的面部表情、手勢動作表達意義,還可以同時使用PPT用文字顯示相關要點等。這樣,上課的語境就促動了對口語系統、手勢、面部表情、PPT文字等多個符號系統的意義潛勢的選擇,形成課堂教學的多模態語篇。

  所選擇的符號系統的意義可以是連續的,也可以是間歇的。在連續的選擇中,同時選擇的不同符號系統的特征可以表現出協同或同變現象。例如,口語可以與面部表情形成協同現象。對于幽默語言,伴隨的面部表情一般是幽默或微笑。對于嚴肅的語言內容,則面部表情一般是嚴肅的。兩者不一致可以使學生產生困惑,或者激發學生產生其他的聯想。但兩者的同步可以是間歇性的,例如,課堂上口語講解可以在一個階段伴隨手勢,在另一個階段沒有手勢。

  2.3 符號之間的關系

  多模態話語中模態之間的關系可以分為兩個類別:符號間性和再符號化。O'Halloran(2011)提出了多模態話語分析研究的三個主要議題:1)對非語言符號資源進行分析和模式化;2)對多模態語篇構建中選擇的符號進行整合時符號間性產生的意義擴展進行分析和模式化;3)對在社會實踐中出現的再符號化現象進行分析和模式化。后兩者都是對符號間性的研究。這說明符際關系研究的重要性。

  對于符號間性的研究可以從多個角度入手。Barthes(1977)在對圖文關系進行研究時,提出三種關系:錨定(anchorage),由語言語篇來確定圖像的意義;闡釋(illustration),由圖像來確定語言語篇的意義;接續(relay),兩者平等,相互連接,形成多模態語篇整體意義。Martinec & Salway(2005)用Halliday的邏輯語義關系來探討圖文關系,在相互依賴關系上區分平等與不平等關系;在邏輯語義關系上區分投射和擴展關系。Royce(1998)從圖文在構建整體意義中的相互作用上探討兩者的關系,提出了兩者在體現不同意義間的互補關系,是從概念意義和人際意義關系的角度研究的。張德祿(2009)對這種關系做了更加具體的研究,認為還需區分互補關系和非互補關系。在互補關系中,區分強化關系,包括突出、主次、擴充,和非強化關系,包括交叉、聯合、協調。在非互補關系中區分交疊、內包和語境交互等。由此可見,在多模態話語分析中,這幾種不同的符際關系在不同的意義關系上起作用,都可用于對多模態話語的分析。但不同的關系用于不同的目的。

  再符號化涉及在不同的語境或階段對意義的重新符號化,即用新的符號來實現多模態語篇的意義。例如,將教材中的書面語在課堂教學中重新符號化,使其成為口語、手勢、PPT上的書面語等幾種不同模態的整合體。在此,為什么需要把相同意義重新符號化,以及經過重新符號化后會發生什么變化,需要繼續研究。

  2.4 多模態語篇的構成

  多模態話語分析是從研究多模態語法開始的(見O'Toole 1994;Kress & van Leeuwen 1996)。然而,多模態語篇內部模態之間的關系是在語篇層面還是語法層面,還沒有很好地界定,因此,Machin(2007)對多模態語法提出了質疑。我們在對多模態語篇中模態之間關系的研究中發現,在大多數多模態語篇中,模態之間不是在語法層面相互協同,而是在語篇層面,即每個模態實現一個語篇片段,片段之間形成一定關系,包括以上討論的邏輯意義關系、互補關系等。(Zhang 2017)。

  Zhang(2017)曾對Kress & van Leeuwen(1996,2006)中幾個多模態語篇進行重新研究,發現有的語篇中模態之間的關系主要表現為語篇片段之間的關系,即每個語篇片段由一種模態體現,然后這些片段相互結合,整合為多模態語篇整體,如對Kress & van Leeuwen(2006:67)的Vittel廣告《新思想》(1987,12,5)的分析中發現,其中書面語篇、大圖像語篇(飲水語篇)和小圖像語篇(水瓶語篇)共同組成多模態語篇,三個語篇片段形成互補關系,其中書面語篇詳述大圖像語篇;大圖像語篇修飾水瓶語篇,最終用于推銷水瓶語篇。還有的多模態語篇主要由一種模態構建,但它本身不完整,由其他模態來完善,如對Kress & van Leeuwen(2006:99)中討論的《公報》中澳大利亞的不同組成成分(1989,1,10)的分析。澳大利亞作為一個整體被切割為七個部分,每個部分是整體的一個組成成分,從語法上是一個分析過程,但沒有表明每個下義成分是什么,需要語言來說明,所以,這個分析過程是由書面語片段來完成的。完成每個下義成分的語言部分自身形成一個語言的識別關系過程,是一個獨立的語法單位。它們相互之間可以通過詞匯銜接和語法上的排比關系形成銜接關系,再通過圖像語篇中部分之間的關系形成連貫的語篇。這個例子一方面說明了不同維度的模態具有的不同語法模式,同時,也顯示了不同模態的語篇和語法單位之間復雜的關系:圖像和語言是互補關系,由語言錨定圖像;語言片段之間是平等關系。還有的多模態語篇中每個模態構建的成分都不能形成獨立的語法單位,需要兩者搭配和協作來形成完整的語法單位,體現一個小語篇,如對Kress & van Leeuwen(2006:26)中計算機畫的赴宴請柬圖的分析。其中的文字和圖形都不能形成一個完整的語法單位,需要兩者的合作構建。兩者是互補關系。以上例證說明多模態語篇分析首先是看各個模態在語篇的意義建構上的功能,然后再看它們是如何體現意義的,有什么詞匯語法模式來體現什么樣的意義模式等。

  3.多模態分析綜合框架構建

  以上我們討論了多模態語境、符號系統的類別和系統特點、符號間的關系、多模態語篇的建構等方面的問題,多模態話語分析的整體框架基本清晰了。但還有一個重要方面,多模態語篇分析中的層次和過程的關系需要理清。系統功能語言學認為,語言由三個層次組成:語義、詞匯語法和音系。在多模態話語分析中,語義成為多符號意義,音系成為符號系統的媒介,從而形成在語境之下,由符號意義層、詞匯語法層和媒介層組成的基本模式。另外,在語言學研究中,聲音和書寫符號都作為體現以上意義、形式和媒介的物質實體,本身對意義的構建沒有作用。但在多模態話語分析中,物質實體具有自己的“供用特征”,可以直接影響意義的選擇和表達,這是Thibault(1991:189)所稱的“新唯物主義”(neomaterialism)的觀點。例如,PPT等科技含量高的媒介實體可以一方面增強意義的表達力,同時還可以更加精確地表達意義,或者表達一些一般的技術手段無法表達的意義。據此,在媒介之下,還需要增加一個層次,即實體層。

  多模態話語分析十分注重對多模態話語生成過程的研究,Kress & van Leeuwen(2001:4-7)提出了話語、設計、生產、分布四個概念作為多模態分析的四個層次。“話語是關于社會中構建的現實的知識。”它在社會中創造,在具體的社會語境中發展,即話語要適合于這些語境中的社會參與者的利益和興趣。設計被明確定位在內容與表達之間,是“表達的概念面,概念的表達面”。它是對符號資源的運用。生產是對“表達的組織,是把符號事件用實際材料表達出來,或者是對符號制品的實際材料的制作過程。”。分布是對實際材料的處理過程。

  這四個概念實際上是符號在交際過程中的四個層面的操作過程,與上面提到的四個層次相匹配。多模態語篇的生成過程開始于語境化:把交際過程定位在一定的情景語境中。在情景語境的促動下,交際者要對意義進行選擇。這個從語境到意義的選擇過程就是話語生成過程。意義需要選擇合適的模態來表達,選擇什么模態是由意義決定的,即根據意義給相關符號系統進行“分工”。選擇需要交際者的思考和對資源的供用特征的認識,從而做出他認為的最佳選擇,即對使用什么模態、模態組合來體現意義,模態之間如何協同等做出合理的安排,這個過程就是設計過程。每個模態都由一定的媒介系統實現,也就是由一定的物質材料特性表現出來,這個過程是生產過程,即從意義到物質實體的過程。產出的產品是以具有某些功能為特點的,所以,它具有區別這個產品與那個產品的區別特性,但并沒有具體分布到一定的時空中,所以,分布過程是把媒介具體化,成為出現在具體時空中的物質實體。最后,這個過程一方面能夠把話語傳播到需要的位置,另一方面,也顯示它在體現意義方面的“供用特征”的特點。多模態話語的綜合分析框架可由圖3表示。

  與已有的分析模式(Kress & van Leeuwen,1996,2002,2006;van Leeuwen & Kress 2011;張德祿2009)相比,本模式突出符號的系統性,即它的“供用特征”,以便交際者在選擇符號前要描述清楚這個符號系統中符號的供用特征,它在表達意義方面的優勢、特長和局限性,從而使交際者能在交際過程中,根據不同符號系統的特點和在社會文化中的功能來在不同的符號系統中選擇合適的符號及其組合,形成適合語境和交際目的的多模態語篇。

  它的第二個特點是把多模態話語的生成過程作為一個重要方面突出出來,從而把系統功能語言學的層次概念與Kress & van Leeuwen(2001)提出的四個層次(話語、設計、生成、分布)結合起來,把后四者視為前四個層次間的選擇過程,也是實例化過程,從而表現出話語是如何在不同的層次從系統中選擇出來的。最后,本分析模式突出了實體在意義選擇中的作用,即實體對于符號的供用特征具有限定作用。

  4.實例分析

  由于篇幅所限,本文主要用簡單符號系統組成的公路交通多模態語篇作為實例進行分析(見圖4)。

  1)公路交通的文化語境是國家整個公路交通系統和相關的交通規則和管理,由一系列與交通相關的符號系統組成。語境化的過程是司機驅車上路的過程,以開車行動為主,行動范圍是在公路上開車;行動的基調是遵守交通規則制定者制定的交通規則;行動方式是動作模態和其他視覺符號模態的協同和搭配。

  2)驅車到交叉路口,司機需要解讀信號燈桿上所有符號的意義。這些符號屬于兩個符號系統:信號燈系統和交通指示系統。每個符號的意義的解讀都需要他預先掌握這個符號的系統特征。首先,信號燈系統實際上是三個同選信號系統的結合:顏色表示的停(紅)、等(黃)、行(綠)信號燈系統;箭頭的類型表示方向信號系統;數字系統表示這個信號延續的時間系統。認識了這些系統,他才能解讀出在一定的時間內只能前行,不能左拐的交通信號狀態。第二個是交通指示系統,是同選性四個次級指示系統的結合。(1)禁止鳴笛與禁止超寬,和禁止超高等形成禁止指示系統;(2)數字50表示限速50公里,與限速40、限速60等形成限速系統;(3)禁止長期停車,與禁止臨時停車、禁止停車形成禁止停車系統;(4)禁止掉頭,與禁止左轉、禁止右轉、禁止直行、禁止左右轉等形成禁止轉向系統。對這些符號的意義的解讀依賴于司機能夠認識這些系統,并且通過話語化把這些不同的意義融為一體,與他的驅車行動一起形成公路交通話語。

  3)每一個符號系統都由一系列符號組成,符號間是選擇關系,司機需要通過設計過程把這些符號聯系在一起,形成多模態語篇的符號結構。

  4)符號由媒介體現。媒介來源于已有媒介系統:不同顏色的燈光、箭頭形狀、數字顏色和形狀的圖形等。通過媒介化把符號生產為媒介,從而出現多媒介現象。

  5)最后,這些媒介需要通過實體化分布于合適的空間位置和裝置上,成為實在的交通信號指示系統。在這里,是否有這些媒介技術是一個關鍵因素。例如,沒有電子技術,這些指示燈系統很難生產。

  本研究力圖在已有的多模態話語分析框架的基礎上提出用以優化和完善這些框架的新模式。本文優化和完善了已有的分析模式、突出了其系統性和實例化過程,探討了符號系統的特性、符號間關系,和再符號化過程,建立了新的多模態話語分析的系統功能綜合框架,并且用實例做了說明。希望本研究能夠進一步促進多模態話語研究的發展,對于將來的發展趨勢和發展前景有一定啟示。

  ①表現社會系統和社會行為(體裁)的環境因素和行為在語言語境中被作為高于語義層,由語義體現的特征。但在多模態話語中,它們在語境中是意義的表現,在模態中是體現語篇意義的。

  ②手勢是否有語法系統還需要做進一步探討。

  原文參考文獻:

  [1]Barthes,R.1977.Image,Music,Text(trans.Stephen Heath).New York:Hill & Wang.

  [2]Bateman,J.,J.Wildfeuer & T.Hiippala,2017.Multimodality:Foundations,Research and Analysis:A Problem-Oriented Introduction.Berlin:Walter de Guyter.

  [3]Feng,Dezheng(馮德正).2011.The construction and classification of multimodal metaphor:A systemic functional perspective.Foreign Language Research(1):24-29.[2011,多模態隱喻的構建與分類——系統功能視角.《外語研究》第1期:24-29.]

  [4]Forceville,C.1996.Pictorial Metaphor in Advertising.London:Routledge.

  [5]Forceville,C.& E.Urios-Aparisi(eds.).2009.Multimodal Metaphor.Berlin:Mouton de Gurter.

  [6]Gibson,J.J.1977.The theory of affordances.In R.Shaw & J.Bransford(eds).Perceiving,Acting,and Knowing:Toward an Ecological Psychology.Hillsdale,NJ:Erlbaum,62-82.

  [7]Halliday,M.A.K.1973.Explorations in the Functions of Language.London:Edward Arnold.

  [8]Halliday,M.A.K.1975.Learning How to Mean:Explorations in the Development of Language.London:Edward Arnold.

  [9]Halliday,M.A.K.1978.Language as a Social Semiotic.London,Edward Arnold.

  [10]Halliday,M.A.K.& R.Hasan.1985.Language,Text and Context:Aspects of Language in a Social-Semiotic Perspective.Geelong,Vic,Deakin University Press.

  [11]Halliday,M.A.K.1994.Introduction to Functional Grammar.London:Edward Arnold.

  [12]Halliday,M.A.K.2007.Language an Society:Vol.10 in the Collected Works of M.A.K.Halliday.London & New York:Continuum.

  [13]Halliday,M.A.K.& C.Matthiessen.2014.Halliday's Introduction to Functional Grammar.London:Routledge.

  [14]Jewitt,C.(ed.).2009.The Routledge Handbook of Multimodal Analysis.London:Routledge.

  [15]Kress,G.& T.van Leeuwen.1996.Reading Images:The Grammar of Visual Design.London:Routledge.

  [16]Kress,G.& T.van Leeuwen.2001.Multimodal Discourse:The Modes and Media of Contemporary Communication.London:Arnold.

  [17]Kress,G.& T.van Leeuwen.2002.Colour as a semiotic mode:Notes for a grammar of colour.Visual Communication 10:343-369.

  [18]Kress,G.& T.van Leeuwen.2006.Reading Images:The Grammar of Visual Design.London:Routledge.

  [19]Machin,D.2007.Introduction to Discourse Analysis.New York:OUP.

  [20]Martinec R.& A.Salway.2005.A system for image-text relations in new(and old)media.Visual Communication 4(3):337-341.

  [21]Matthiessen,C.M.I.M.2007.The multimodal page:A systemic functional exploration.In T.Royce & W.L.Bowcher(eds.).2007.New Directions in the Analysis of Multimodal Discourse.Mahwah:Lawrence Erlbaum & Associates.

  [22]Norris,S.2004.Analysing Multimodal Interaction:A Methodological Framework New York:Routledge.

  [23]O′Toole,M.1994.The Language of Displayed Art.London:Leicester University Press.

  [24]O′Halloran,K.2004.Multimodal Discourse Analysis:Systemic Functional Perspectives.London:Continuum.

  [25]O′Halloran,K.2011.Multimodal discourse analysis.In B.Paltridge & K.Hyl(eds.).Continuum Companion to Multimodal Discourse Analysis.London:Continuum.120-137.

  [26]O′Halloran,K.L.& B.Smith.(eds.).2011.Multimodal Studies:Exploring Issues and Domains.London:Routledge.

  [27]Royce,T.1998.Synergy on the page:Exploring intersemiotic complementarity in page-based multimodal text.JASFL Occasional Papers 1:25-49.

  [28]Thibault,P.J.1991.Social Semiotics as Praxis:Text,Social Meaning Making and Kabokov's Ada.Oxford:University of Minnesota Press.

  [29]Van Leeuwen,T.& G.Kress.Forthcoming.A Grammar of Diagrams,Maps & Charts.

  [30]Zhang,Delu(張德祿).2009.On a synthetic theoretical framework on multimodal discourse analysis.Foreign Languages in China(1):24-30.[2009,多模態話語分析綜合理論框架探索.《中國外語》第1期:24-30.]

  

作者簡介

姓名:張德祿 工作單位:

轉載請注明來源:中國社會科學網 (責編:馬云飛)
W020180116412817190956.jpg
用戶昵稱:  (您填寫的昵稱將出現在評論列表中)  匿名
 驗證碼 
所有評論僅代表網友意見
最新發表的評論0條,總共0 查看全部評論

回到頻道首頁
QQ圖片20180105134100.jpg
jrtt.jpg
wxgzh.jpg
777.jpg
內文頁廣告3(手機版).jpg
中國社會科學院概況|中國社會科學雜志社簡介|關于我們|法律顧問|廣告服務|網站聲明|聯系我們
快乐赛车pk10视频 股票开户流程是怎么样的 极速时时彩太假了 黑龙江22选5开奖走势图 股票涨跌有什么规律吗 股票指数买卖怎么开通 交流群三分pk10精准在线计划 广东11选5开奖结果 山东十一选五的开奖图 福建快3号码推荐 天天三分彩开奖 广西11选5官方下载 股票融资的条件 白小姐精准必选一肖 排列五近500期走势图 高升网 腾讯分分彩开奖记录官网