阿爾特曼在“電影/聲音”專輯的序言中指出，電影本來就是“視覺的”這種假定，其實(shí)深植于我們談?wù)撾娪皶r(shí)的習(xí)慣之中。用來指涉電影的特有名稱——movie、motion pictures、cinema——都強(qiáng)調(diào)對(duì)于看得見的影像的記錄，所指稱的是觀眾“觀看”一部電影，而不是“聆聽”一部電影。23這種接受上的視覺中心主義，使對(duì)電影音樂的關(guān)注和研討滯后于視覺，并使音樂通常被認(rèn)為是附屬于視覺的。事實(shí)上，電影音樂作為一種模態(tài)信息和語義信息，時(shí)刻與電影內(nèi)容建立著密切而復(fù)雜的關(guān)系;借助電影音樂，在接受者之間能夠產(chǎn)生可預(yù)測的超個(gè)體關(guān)聯(lián)(supra-individual association)。

    本次研究以電影音樂的懸疑效果為焦點(diǎn)，從跨模態(tài)視聽互動(dòng)與意義/情感建構(gòu)兩個(gè)維度，探究電影音樂在觀影認(rèn)知過程中發(fā)揮的具體作用與效果。通過fMRI實(shí)驗(yàn)與主觀問卷測試的數(shù)據(jù)分析，本研究生成以下結(jié)論。

    (一)作為模態(tài)信息的電影音樂:“同步整合”與“概念共鳴”

    首先，從縱向視、聽覺的跨模態(tài)視角來看，電影音樂被視作與視覺畫面并行的模態(tài)信息。本次研究的相關(guān)腦數(shù)據(jù)顯示，與視覺畫面同步展開的電影音樂，會(huì)強(qiáng)化并引導(dǎo)觀眾感官層面的認(rèn)知，促進(jìn)其注意力、記憶、情感加工等方面的腦活動(dòng)。在特定情況下，音樂的加入還會(huì)促進(jìn)腦部對(duì)當(dāng)前視覺信息的加工，幫助強(qiáng)化畫面屬性、質(zhì)感的視覺接受效果，視聽模態(tài)信息之間存在互相作用，并非彼此隔絕。音樂與畫面在屬性、質(zhì)感上越相符，其對(duì)視覺、情感、注意力、記憶等腦認(rèn)知活動(dòng)的促進(jìn)作用就越顯著。

    上述結(jié)論，從實(shí)證的角度佐證了希翁的“同步整合”理論。此種視、聽覺間同時(shí)發(fā)生且不可抗拒的心理融合，是內(nèi)在于觀影者感官系統(tǒng)中的。在后續(xù)論述中，希翁進(jìn)一步提出“概念共鳴”(conceptual resonance) 24，用以突出電影聲畫結(jié)合的重要性——音樂影響觀眾對(duì)影像內(nèi)容的接受，對(duì)影像的認(rèn)知也會(huì)為聲音接受帶去新的模態(tài)信息和相關(guān)屬性，這一視聽互動(dòng)效應(yīng)同樣被腦活動(dòng)數(shù)據(jù)證明是切實(shí)存在的。在電影剪輯制作方面，視覺與聽覺是兩條各自獨(dú)立的軌道，但人類的感官認(rèn)知，卻能夠完成二者的一體化過程，通過復(fù)雜的腦機(jī)制進(jìn)行視聽間互促，進(jìn)而生成更高級(jí)的認(rèn)知結(jié)果。誠如希翁所指出的，許多觀眾以為自己用眼看到的畫面中，事實(shí)上也有聲音建構(gòu)的幻覺存在。

    (二)作為語義信息的電影音樂：圖式激活與“增值”

    從情感/意義建構(gòu)維度來看，電影音樂被加入到畫面中，除了對(duì)特定氛圍進(jìn)行渲染、烘托外，還有重要的語義學(xué)作用，從而可指向敘事性。音樂不僅會(huì)增強(qiáng)觀影的沉浸感，更深度參與觀眾對(duì)畫面意義的感知、建構(gòu)與詮釋，為敘事電影展示事件提供來自聲學(xué)的信息增量。研究結(jié)果指出，不同意義屬性的音樂加入，會(huì)顯著扭轉(zhuǎn)觀眾對(duì)視覺畫面意義屬性的理解，與畫面意義屬性相同的音樂加入后，則整體上達(dá)成了“1+1>2”的認(rèn)知效果。

    在此，希翁的“增值”概念得到實(shí)證性的佐證。音樂自身在情感、意義上的信息值，會(huì)附著于視覺畫面，成為觀影者認(rèn)知接受過程中的增量。作為語義信息，音樂與畫面屬性的一致性引起正向增值，對(duì)視覺意義認(rèn)知產(chǎn)生加性，而音、畫間在語義信息上的對(duì)立，則引起音樂對(duì)畫面的負(fù)增值，已有視覺信息會(huì)受到聲音信息的干擾、削弱，甚至被扭轉(zhuǎn)。舊有主流觀點(diǎn)中，音樂曾一度被認(rèn)為不具有敘事屬性而僅充當(dāng)畫面的附屬，但事實(shí)上，觀影過程中音樂的語義作用，對(duì)電影敘事的認(rèn)知建構(gòu)有重大影響。

    圖式激活效應(yīng)(schema-activating effect)為電影音樂的增值提供了另一種闡釋路徑。音樂所攜帶的情感和意義屬性，會(huì)觸發(fā)、喚起觀眾積極或消極的心理圖式，以自上而下的方式影響甚至引導(dǎo)觀眾理解當(dāng)前的畫面。25由于圖式將人類的知覺與情感經(jīng)驗(yàn)組成一個(gè)連貫、共通的結(jié)構(gòu)性整體，故而同樣有理由相信，音樂的圖式激活效應(yīng)，在某種程度上是超個(gè)體的與可預(yù)測的，這構(gòu)成了電影音樂手法使用的認(rèn)知主義前提。盡管電影創(chuàng)作界已在相當(dāng)長的時(shí)間內(nèi)遵循并踐行了上述規(guī)律，但從理論和實(shí)證方面對(duì)其予以論證，依然是必要的。

    (三)音畫綜合下的電影認(rèn)知與創(chuàng)作

    縱向和橫向的研究數(shù)據(jù)結(jié)果均顯示，音畫一致時(shí)，音樂對(duì)畫面的感官加工和意義理解都有強(qiáng)化和突出作用，而當(dāng)音畫不一致時(shí)，音樂往往會(huì)對(duì)電影內(nèi)容及視聽特性進(jìn)行調(diào)整和修改。諾埃爾·卡羅爾將這種調(diào)整和修改描述為一種“修飾語”(modifier)，能改變觀眾對(duì)電影意義、情感及特質(zhì)的感知。26

    通過同步整合與增值、圖式激活，電影音樂的屬性直接影響敘事電影的流暢度、現(xiàn)實(shí)感及感染力。當(dāng)音畫一致時(shí)，音樂強(qiáng)化觀眾的認(rèn)知，音畫不一致時(shí)，則調(diào)整、修改觀眾的認(rèn)知。延伸至創(chuàng)作領(lǐng)域，對(duì)上述規(guī)律較為常見的運(yùn)用，便是商業(yè)電影多使用與特定場景屬性相吻合的音樂，以強(qiáng)化觀眾對(duì)人物情緒和事件進(jìn)程的認(rèn)同，進(jìn)而深化其對(duì)敘事的沉浸作用;藝術(shù)電影中，也常見以音畫分離、對(duì)位的手段制造間離性或建構(gòu)特定表達(dá)的手法。但不論怎樣，這些音樂上的設(shè)計(jì)能夠發(fā)揮作用，始終前提性地仰賴于人類復(fù)雜的感官機(jī)制和意識(shí)活動(dòng)，后者為音畫間的配合賦予了認(rèn)知端的多種可能性。更多時(shí)候，是觀眾“以耳看”“用眼聽”，將電影的視聽編碼信息盡數(shù)納入已有經(jīng)驗(yàn)和主觀意識(shí)流動(dòng)內(nèi)部，才在真正意義上成就了一部完整、立體的電影，此種思路在認(rèn)知主義與電影學(xué)的碰撞中，已屬主流。

    在神經(jīng)美學(xué)(neuroaesthetics)領(lǐng)域，有這樣的說法，稱藝術(shù)之美存在于觀看者的神經(jīng)系統(tǒng)之中27，或許神經(jīng)電影學(xué)可以對(duì)此稍作修改:真正的電影銀幕，存在于觀眾的眼、耳、心中。德勒茲意義上的“大腦即銀幕”28，正在神經(jīng)電影學(xué)視域下立體化、清晰化，逐步走向可見。