発表

1B-045

動的情報が複数の視覚情景刺激提示下の視聴覚統合に及ぼす影響

[責任発表者] 小西 慶治:1
[連名発表者・登壇者] 横澤 一彦:1
1:東京大学

目的 聴覚刺激と視覚刺激を空間的に離れた位置に提示すると,聴覚刺激の音源位置が視覚刺激の位置に誤定位される現象は,腹話術効果と呼ばれる[1].これは,感覚入力間の矛盾を解消し,一貫した外界の表象を形成する統合処理の典型例である.聴覚刺激と視覚刺激と一つずつ提示した実験によると,時間的近接性のような物理的要因こそが統合の成否を規定すると考えられる [2].一方,顔刺激を二つ,声刺激一つを用いて音源定位課題を行い,視聴覚情報の意味的な対応関係も統合の程度を調整することが報告された[3].視聴覚情報の対応づけ候補が複数存在する環境下では,認知的要因に基づいて,最適な対応を選択することを示唆している.
 しかし,視聴覚統合における認知要因の影響はヒトの顔と声に特異的であるとの主張もある[4].そこで本研究では,情景を表す視覚刺激を二枚と曖昧な聴覚刺激一つを提示し,視覚刺激の動き情報の有無と視聴覚情報の意味的整合性を操作した上で音源定位課題を行うことで,複雑な環境下で,認知的要因が情景の視聴覚統合にも影響するかを検討した.
方法参加者 実験には19名が参加した.
材料 視覚刺激は炎,滝,雨,雪の四種類の情景を写した一秒間の動画であった.この動画の一フレーム目を用い,静止画とした.聴覚刺激はラジオ音を模した曖昧な雑音一種類であった.別の7名による整合度評定により,炎・滝を整合性低刺激,雨・雪を整合性高刺激と設定した.
装置・手続き スクリーンを設置し,プロジェクターを通じて視覚刺激を対提示すると同時に,左右に設置した二台のスピーカーのいずれかから聴覚刺激を提示した.
 課題は,聴覚刺激がいずれから提示されたかを答えることだった.視覚刺激の間に提示される注視点を見るよう教示した上で,音源定位は聴覚のみに基づくよう求めた.実験は2(聴覚刺激の提示位置)× 2(動画の意味的整合性)× 2(静止画の意味的整合性)の8条件からなり,各32試行ずつ,計256試行が行われた.
結果 音源定位課題の正答率を表1に示す.3要因の分散分析によると,聴覚刺激位置の主効果 [F(1, 18) = 21.6, p < .05],動画の意味的整合性 [F(1, 18) = 22.7, p < .05],静止画の意味的整合性 [F(1, 18) = 10.0, p < .05]の各主効果が有意であった.
 また,聴覚刺激位置と動画の整合性の二次の交互作用が有意であった [F(1, 18) = 40.0, p < .05].下位検定に基づくと,動画の整合度によらず,動画位置の方が静止画位置よりも正確であった [ps < .05].さらに,静止画位置では動画の整合性が高い場合に,低い場合と比べて不正確になり[p < .05],動画位置では動画の整合性が影響しなかった [p > .05].その他交互作用は有意ではなかった [ps > .05].
考察 音源定位の判断成績から,動的情報を有している視覚刺激と同じ側から音が提示されたと感じられやすいことがわかる.これは,音が鳴る際には動きが伴うことが多いという事前の知識に基づくものであり,先行研究とも一致する[3].動画の意味的整合性が高い条件では,静止画位置の聴覚刺激の定位成績の低下が著しかった.これは意味的に整合し,動きを伴う視覚刺激に対して聴覚刺激が強く統合されたため,実際には静止画位置に提示された音が,動画側から提示されたように感じたと説明できる.一方で,静止画が提示された場合,このような音源定位成績の低下は観察されなかった.動的情報を伴う刺激の存在下では,意味的整合性が高くても動的情報の欠如を理由に適切な対応づけと判断されないと考えられる.
 以上より,意味的な整合性の視聴覚統合への寄与は限定的で,視覚情報が動きを伴う場合に限ることが分かった.これは,認知的要因が統合へ寄与する二つの側面を示唆している.一つ目は,蓋然性の高い視聴覚刺激の対応づけを選択することであり,二つ目は,蓋然性の低い視聴覚刺激の対応づけを棄却するというものである.複数の対応の候補から素早く一つの答えを導くために,合わない要素を持つ対応づけの候補を積極的に棄却しているのかもしれない.
引用文献[1] Bertelson, & Aschersleben. (1998). Psychonomic Bulletin & Review, 5, 482–489.
[2] Vroomen, & de Gelder. (2004). Handbook of Multisensory Processes. (pp. 141–150)
[3] Kanaya, & Yokosawa. (2011). Psychonomic Bulletin & Review, 18, 123–128.
[4] Vatakis, & Spence. (2008). Acta Psychologica, 127, 12–23.

キーワード
多感覚統合/空間的腹話術効果/生態学的妥当性


詳細検索