発表

1D-062

webカメラによる表情筋活動推定を用いた体現的シミュレーション仮説の検討

[責任発表者] 前川 亮:1
[連名発表者・登壇者] 菅井 愛琴#:1, 乾 敏郎:1
1:追手門学院大学

1.背景
他者の感情表現を観察すると,自身の表情および身体に自動的な模倣が生じる。他者の表情から感情を推定する際に,模倣により生じた自身の表情や身体の変化を他者の感情の手がかりとする方法を体現的シミュレーションと呼ぶ(Gallese, 2009)。他者感情推定時の表情筋電を計測すると,参加者による他者感情の評定値と表情筋電の間に線形関係がみられ,自身の表情変化を他者感情の手がかりとしていることが示唆された(山添ら, 2017)。しかし,他者感情推定時の表情筋電の変化はわずかであり,第三者からは表情模倣を行っているかどうかはわからない。本研究では, webカメラにより記録した画像を解析することで,他者感情推定時の模倣的表情変化が,視覚情報のみから検出可能かどうかを検討した。
2.方法
刺激 京都大学こころの未来研究センター(KRC)表情画像データベース(2013)から男女3人ずつを選び,モーフィングを行った画像を用いた。モーフィングは中性表情から感情円環モデル(Russell, 1980)に基づき6感情(幸福・驚き・悲哀・恐れ・怒り・嫌悪) についてそれぞれ30%, 60%, 100%の3段階で行い,合計114枚の表情画像を作成した。
装置 27インチのディスプレイで課題を行い,ディスプレイ上部に取り付けたwebカメラ(Logicool, HD Pro Webcam C920)で課題中の表情を記録した。
手続き 注視点(2秒間)を表示後,表情画像が3秒間呈示された。その後,評定用のスライダー(Affective slider; Betella & Verschure, 2016)が表示された。参加者は各表情画像に対して,円環モデルの感情空間上の感情価軸と覚醒度軸について,スライダーを動かすことで評定した。
参加者 大学生23名(男性7名,女性16名,平均20.2歳)。
解析方法 FaceReader(Noldus)を用いて,オフラインで表情解析を行った。FaceReaderは表情筋の変化を19種類のAction Unit(AU)の活動量として出力する。解析対象とするAUの値は,画像が呈示されてからスライダーが現れるまでの3秒間の平均値を用いた。また,固視点が呈示されている2秒間の平均をベースラインとして変化量を算出した後,標準化(z-score)を行い,参加者間の活動のばらつきを揃えた。
3.結果
AU活動と他者感情評定値の相関
まず,AU活動の大きさと参加者の評定値の関係を調べた。筋電計測時に影響がみられた感情に着目し,怒り・幸福表情に対する皺眉筋(AU4)・大頬骨筋(AU6, AU12)に相当するAUの活動を調べた。各AUについて,怒りおよび幸福への感情価評定値による線形回帰を行ったところ,AU4(眉を下げる, F (1, 5) = 8.29, p = 0.03)では負の,AU6(頬を上げる, F (1, 5) = 6.73, p = 0.05)では正の,有意な線形関係がみられた。次に,覚醒度評定値による線形回帰を行ったところ,AU2(眉を上げる, F (1, 5) = 9.94, p = 0.03)で正の,AU6(頬を上げる, F (1, 5) = 7.73, p = 0.04)では負の有意な線形関係がみられた。
AU活動からの表情推定のモデリング
さらに,応用的側面を検討するために,機械学習を用いた表情の分類を行った。学習には比較的単純なニューラルネットを用い,19種類のAU活動を入力として,呈示された表情の感情(6感情)を予測した。ネットワークは入力層(ユニット数19),隠れ層2層(ユニット数10, 50),出力層(ユニット数6)で構成されていた。学習はランダムな初期値を用いて1000回行い,正答率の最も高かったモデルを選出した。このモデル作成を5回行い,各分類の平均,および標準偏差を計算した(図1)。平均正答率は43%で,期待値(17%)を上回る結果となった。
4.考察
自身の表情変化が他者感情の評定値と相関していたことは,体現的シミュレーションを支持する結果といえる。また,今回の実験から,筋電計測を使用しなくても,他者感情推定を予測できる可能性が示された。表情画像から画像に映った人物の感情を予測するシステムは数多く提案されているが(Fasel et al., 2003),本研究では,本人の感情ではなく他者感情の評定への予測を行った。観察者の表情を解析することで観察対象の感情を予測できたのは,表情の自動模倣と体現的シミュレーションが働いているためだと推測される。

キーワード
感情/感情推定/顔画像解析


詳細検索