(一)理論模型與實(shí)驗(yàn)假設(shè)

    縱向的跨模態(tài)視聽研究思路(如圖1)，聚焦于兩種媒介形式同時(shí)存在的直接感知問題。如希翁的同步整合概念，即是將音樂與畫面視為兩支整體平行、間或彼此擾動(dòng)的模態(tài)信息流。在此種思路指導(dǎo)下的電影音樂研究，多從生理指標(biāo)方面勘測音樂加入畫面后對感官認(rèn)知產(chǎn)生的影響。例如，賽耶(Thayer)和利文森(Levenson)團(tuán)隊(duì)研究發(fā)現(xiàn)，在觀看氣氛緊張的紀(jì)錄片時(shí)配以給人壓力的音樂，會顯著增強(qiáng)皮膚的電導(dǎo)率，使觀影的體驗(yàn)更加壓抑 6。鮑姆加特納(Baumgartner)和盧茨(Lutz)等人的研究則發(fā)現(xiàn)，當(dāng)同時(shí)呈現(xiàn)視覺和聽覺刺激時(shí)，與情感處理相關(guān)的大腦區(qū)域的激活增加 7……德國學(xué)者赫格特(Herget)梳理了自20世紀(jì)90年代以來主要的縱向視聽實(shí)驗(yàn)研究，將其得出的電影音畫關(guān)系總結(jié)為情感的(affective analogies)、敘事的(narrative analogies)和結(jié)構(gòu)的(structural analogies)三類 8。整體而言，此類研究思路傾向于將音樂視為模態(tài)信息，音樂會向電影畫面?zhèn)鬏斕囟ǖ馁|(zhì)感，進(jìn)而影響視聽綜合下的感官體驗(yàn)和大腦活動(dòng);音畫綜合下的協(xié)調(diào)性與非協(xié)調(diào)性，在腦層面也會有顯著不同的功能反饋。

    橫向的情感意義認(rèn)知研究思路(如圖2)，則適當(dāng)取消了視聽之間的垂直二元關(guān)系，將二者共同置入敘事結(jié)構(gòu)內(nèi)部，以更具體的手法，探究電影音樂對涉及場景、人物、事件的意義/情感理解的影響。在這部分，由舍維(Shevy)提出的音樂認(rèn)知圖式理論(music cognitive schema theory) 9是本文的重點(diǎn)參考之一。按照舍維的理論，音樂作為電影中待觀眾處理的信息元素，提供了與觀眾已有的圖式結(jié)構(gòu)互通的附加信息，這些已有圖式結(jié)構(gòu)通過“自上而下”的方式，會自主調(diào)動(dòng)主體相應(yīng)的注意力與情感認(rèn)知，進(jìn)而生成對當(dāng)前敘事的主觀理解 10。

    這與希翁的增值概念是不謀而合的，橫向思路下，音樂除了是一種模態(tài)信息，更是語義學(xué)層面的非言語溝通工具，會以信息的形式對觀眾的情感、記憶、理解等方面產(chǎn)生引導(dǎo)作用，輔助其理解并沉浸于電影的敘事內(nèi)容。

    盡管電影音樂在縱向、橫向的具體功能各有側(cè)重，但在視聽綜合的自然觀影過程中，兩類功能卻往往是同期顯現(xiàn)的。在當(dāng)今“影像—聲音”全面包圍的媒介時(shí)代，我們習(xí)慣于視聽信息流的高密度在場，卻少有機(jī)會實(shí)證地、科學(xué)地體認(rèn)，在聲畫接受過程中，各元素如何發(fā)揮作用，如何協(xié)同共促。因此，本文擬借用上述兩種研究思路，進(jìn)行電影音樂對影片懸疑效果認(rèn)知作用的研究，并提出以下實(shí)驗(yàn)假設(shè)。

    在跨模態(tài)視聽互動(dòng)方面:

    1.加入音樂后的片段較之沒有音樂的片段，會引發(fā)范圍更大、程度更強(qiáng)的腦活動(dòng);

    2.匹配懸疑音樂的片段較之匹配中性音樂的片段，會引發(fā)更強(qiáng)烈的腦活動(dòng);

    3.涉及的腦功能區(qū)域可能與注意力、情感(負(fù)性)、視/聽覺加工等有關(guān)。

    在情感意義認(rèn)知方面:

    1.懸疑性音樂的加入會增強(qiáng)懸疑畫面的懸疑感;

    2.中性音樂的加入會削弱懸疑畫面的懸疑感，也會反向增強(qiáng)中性音樂的平和程度;

    3.視聽屬性一致時(shí)，畫面已有屬性給人的主觀感受更強(qiáng)烈。

    (二)實(shí)驗(yàn)材料

    本次研究使用的刺激材料為60段獨(dú)立的電影片段(其中30段為懸疑片段，30段為中性片段)，每個(gè)片段的時(shí)長為10秒。使用的音頻材料為60段獨(dú)立的音樂片段(其中30段為懸疑音樂，30段為中性音樂)，每段音頻的時(shí)長也為10秒 11。

    之后，研究人員去除掉所有視頻材料中的原音軌，并將其與遴選出的60段音樂片段進(jìn)行組合。懸疑和中性的視頻片段被分別與懸疑音樂、中性音樂及無聲三種聲音狀態(tài)進(jìn)行匹配，形成兩段完整的實(shí)驗(yàn)素材Session1和Session2。兩段素材各由6組視音頻單元組合(Block)構(gòu)成，每單元內(nèi)均含有15段視頻和音頻片段，每一個(gè)組合片段之間設(shè)置有6秒的黑屏充當(dāng)被試反應(yīng)間隔(具體情況如表1、圖3)。

    (三)程序與被試

    本研究由兩部分構(gòu)成，分別為功能性磁共振成像(fMRI)實(shí)驗(yàn)和主觀問卷測試。就功能和特性而言，fMRI通過測量被試觀影時(shí)腦部的血氧反應(yīng)，可精確檢測、定位到受復(fù)雜刺激時(shí)腦內(nèi)產(chǎn)生活動(dòng)的區(qū)域，確定人腦調(diào)用了哪些腦區(qū)以及程度如何，適用于對縱向視聽互動(dòng)思路的闡釋;主觀調(diào)查問卷通過被試自主報(bào)告，體現(xiàn)其對實(shí)驗(yàn)素材的主觀情感態(tài)度與認(rèn)知理解，適用于橫向情感意義的研究路徑，兩個(gè)部分使用到的實(shí)驗(yàn)材料完全相同。

    fMRI實(shí)驗(yàn)部分共招募被試20人(9男11女)，均為高校在校生，年齡18—28周歲，健康，右利手，無精神病史及藥物濫用情況，非電影及相關(guān)專業(yè)，實(shí)驗(yàn)前簽署知情同意書。在該部分實(shí)驗(yàn)中，被試者被要求在磁共振掃描儀中自然、放松觀看兩段實(shí)驗(yàn)材料，過程中不設(shè)置額外任務(wù)。被試觀影同時(shí)，磁共振儀器以每2秒一次的掃描速率，生成單個(gè)被試觀影時(shí)的腦部活動(dòng)影像集合。此后，研究者通過被試間相關(guān)分析(Inter-Subject Correlation, ISC)的方法 12，將多名被試的腦成像數(shù)據(jù)進(jìn)行分析整合，得出具有代表性的腦區(qū)活躍圖像及其隨時(shí)間變化的具體情況。實(shí)驗(yàn)受北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室機(jī)構(gòu)審查委員會支持。

    問卷測試部分，共招募被試169人(35男134女)，均為北京師范大學(xué)在校生，年齡18—24周歲。問卷測試要求169名被試連續(xù)、完整觀看兩段實(shí)驗(yàn)材料，并即時(shí)對每一個(gè)小段落的“懸疑感”進(jìn)行量表等級從1到5的評價(jià)(1:一點(diǎn)都不懸疑; 2:不懸疑; 3:不確定; 4:懸疑; 5:非常懸疑)。通過對回收到的有效問卷進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析，可獲知觀眾對于不同音樂匹配情況下電影懸疑性的主觀感受。

    (四)核磁圖像獲取及數(shù)據(jù)處理

    實(shí)驗(yàn)部分的腦部數(shù)據(jù)采集，系采用西門子Trio Tim3.0T掃描儀(Siemens Medical System，Erlangen，Germany)，于北京師范大學(xué)腦成像研究中心完成。相關(guān)數(shù)據(jù)由MATLAB、SPSS等數(shù)據(jù)分析軟件進(jìn)行處理，其中被試自然觀影時(shí)腦區(qū)的一致性分布圖由腦認(rèn)知專用繪圖軟件Brain Net Viewer 13繪制，被試觀影時(shí)腦部活躍區(qū)域定位由腦認(rèn)知數(shù)據(jù)分析軟件DPABI 14處理分析后得出。