聴覚障害者のための漫才における情報保障の検討 加藤伸子，西山小百合 筑波技術大学　産業技術学部　産業情報学科 要旨：情報保障の一つとして字幕放送の普及が進む中，字幕による情報保障において課題の多い漫才を題材として，聴覚障害者のための情報保障の方法を検討する。本研究では，漫才における字幕の表示タイミングの分析を行い，発話タイミングとの比較を試みる。また，字幕の表示タイミング，表示方法を変化させた字幕を用いた評価実験を行い，聴覚障害者にとって望ましい字幕表示について検討を行う。 キーワード：発話タイミング, 表示タイミング, 字幕, 情報保障, 聴覚障害者 １．はじめに 障害者権利条約で提起されるなど，障害者の情報アクセシビリティをめぐる状況は，重要性が認められつつも，十分に実現されているとは言えない。特に娯楽の領域におけるアクセシビリティは軽視されがちであり問題点をはらんでいる[1]。漫才などのお笑い番組では，生放送などで字幕がつかない場合があるだけでなく，字幕が付与されている場合でも様々な課題がある。聴覚障害者と聴者が一緒にお笑い番組を見ているときに，聴覚障害者は「内容は把握できるけど，文章だけではどこが面白いのかよくわからない。」と考え，それに対し聴者は「音声より字幕が先に出ているのが困る。オチまで表示されているためネタバレされている感じがして楽しめない。」と考える場合がある。 聴覚に障害があっても，聴者と共に字幕を用いて漫才をより楽しみたいと考えている聴覚障害者は少なくない。そこで本研究では，漫才の特徴を踏まえて現状の字幕の分析を行い，漫才の発話タイミングを考慮した字幕の検討を行うことを目的とする。 ２．漫才の字幕 ２．１　漫才の発話タイミング 漫才は，主に二人で演じられ会話を通しておかしみを生じさせ笑いを提供する話芸であり，ボケ役とツッコミ役が特徴的な対話をすることでおかしみを伝達している[2]。　　　 この漫才において，２人の間の発話移行時間（ボケ役の発話終了時刻からツッコミ役の発話開始時刻までの間 IB→Tと，ツッコミ役の発話終了時刻からボケ役の発話開始時刻までの間 I T→B）を調べると，I B→Tの場合のみ大半が負の値に偏っており，ツッコミ役はボケ役の発話途中に割り込むような発話が多いことがわかっている[3]。すなわち漫才においては，発話のタイミング等の非言語情報も，笑いを生むための大きな要素となっていると考えられる。 ２．２　漫才の字幕の表示タイミング 発話のタイミングと字幕のタイミングを比較するために，漫才の映像（テレビ放映されたもの，約６分）において，付与されている字幕について，字幕の発話移行区間（ボケ役の字幕消失時刻からツッコミ役の字幕表示開始時刻までの間 I B→Tと，ツッコミ役の字幕消失時刻からボケ役の字幕表示開始時刻までの間 I T→B）を調べた。音声の発話タイミングと字幕の表示タイミングは一致せず，字幕の表示は以下の３パターンに分類された。 a. １人目の話者の字幕が消えた後に，次の話者の発話が表示される。 b. ２人の発話が同時に表示される。 c. 発話されているが字幕として表示されない。 字幕の場合の a, b各々の発話移行時間を調べた結果を図１,図２に示す。aの場合には，１人目の字幕が消えた数フレーム後に次の字幕が表示されており，ボケ役（B）からツッコミ役（T）に交代するI B→T，とツッコミ役からボケ役に交代するI T→Bでの分布の差は見られなかった（図１参照）。 bの場合には，ボケ役とツッコミ役の２名の発話が同時に表示され同時に消える形であり，上に表示されている一人目の字幕消失時刻から，下に表示されている２人目の字幕表示開始時刻を引くと，計算上は発話移行時間が負の値となる。すなわちこの値は，字幕の表示時間を示している。この時，どちらの場合も２・３秒程度字幕が表示されて消えており，I B→TとIT→Bとで分布の差は見られなかった（図２参照）。　　 図1　字幕における発話移行時間の分布（ aの場合） 図2　字幕における発話移行時間の分布（ bの場合） このように，漫才の字幕では，音声に含まれていた笑いを生むための要素が欠如していることがわかった。 また，bとなる割合を調べると，ボケ役からツッコミ役に交代する場合の 69%，ツッコミ役からボケ役に交代する場合の41%であった。すなわち，ボケ役の発言にツッコミ役がつっこんだ時の約 7割は，ツッコミ役の発話より前に字幕が表示され，「ネタバレ」を起こしていることが確認された。 ３．字幕の比較実験 ３．１　字幕の検討 発話のタイミングを踏まえた字幕表示を検討するために，５種類の字幕を試作した（図３）。 ●　［まとめて表示］ボケ担当とツッコミ担当のセリフを２行.３行ごとにまとめて表示する。上段の話者の発話タイミングに合わせて表示する。基準となるように通常のテレビ等の字幕を模したもので，表示位置は，話者の下とし，横向きに表示する。 ●　［縦表示］発話開始タイミングに合わせて，字幕を表示する。表示位置は，話者の横（右側の人物の右と左側の人物の左）とし，縦向きに文字を表示する。 図3　試作した５種類の字幕 ●　［話始め］発話開始タイミングに合わせて，字幕を表示する。表示位置は，話者の下とし，上段は１人目の話者の発話タイミングに合わせて，下段は２人目の話者の発話タイミングに合わせて表示を開始する。 ●　［色変換］まとめて表示と同じタイミングで，２行.３行の字幕を白文字で表示し，発話開始タイミングに合わせて，各々の話者の文字色に変化する。 ●　［カラオケ風］まとめて表示と同じタイミングで，２行.３行の字幕を白文字で表示し，発話のタイミングに合わせてカラオケのように文字色が順次変化し，各々の話者の文字色となる。 ［縦文字］と［話始め］は，発話タイミングに合わせて，ボケ役ツッコミ役それぞれの字幕を表示するために，［まとめて表示］に比べてネタバレ感を抑えることができると期待される。さらに［縦表示］顔の近くに各々のセリフが表示されることにより，どのセリフを誰が喋ったかが，より直感的に掴めることになる。 一方，［色変換］と［カラオケ風］ではネタバレ感は防げないものの，どのタイミングで発話されたかが明示的になり，漫才の持つ発話のリズムを伝えることが期待される。 ５種類の全ての字幕において，字幕の表示においては，字幕エリアの背景色を黒とし，文字色はシアンとイエローとし，２人の話者で各々色分けして表示した。基本的な字幕の表示位置は，画面の下側であり，１行の文字数は 24文字以内とした。［縦文字］の場合のみ縦表示として，１行につき10文字以内とした。 (a)　普段テレビを見ている時の方法について (b)　テレビで漫才を見た経験はあるか 図5　アンケート結果（平均値と標準偏差） ３．２　比較実験 聴覚障害学生 24名（20代）を対象とし，字幕つきの漫才映像（約１分のもの）を見て以下のアンケートに回答してもらった。提示順は被験者ごとにランダムとした。 図4　事前アンケートの結果 問 1 この字幕は見やすかったか？ 問 2 この漫才を見て面白かったか？ 問 3 この漫才の意味は分かりましたか？ 問 4 字幕表示のタイミングはちょうどいいか？ 問 5 この字幕は好きか？ 各問に対して，.3（かなりそう思わない）から３（かなりそう思う）の 7段階で回答を得た。また，実験前のアンケートで，普段テレビを見るときの方法と，テレビで漫才を見た経験について回答してもらった。 ３．３　実験結果 事前アンケートの結果を図４に示す。被験者 24名のうち，普段テレビを見ている時に全員が字幕を利用しており，字幕のみと答えたのは２名であった。 また，これまでテレビで漫才を見た経験については，「よく見る」・「たまに見る」を合わせて 16名で全体の３分の２を占めていた。 また，字幕つきの漫才映像を見た後のアンケート結果の全員の平均値と標準偏差を図５に示す。 ４．考察 字幕つき漫才映像の比較実験の結果，基準とした［まとめて表示］と試作した他の字幕のアンケート結果の平均値を比較した結果，［話始め］は，［まとめて表示］と比べて，平均値が高かった（問 4・５：p<0.01，問 1：p<0.05）。すなわち，［話始め］の方式は表示のタイミングが良いと感じるなど，一定の効果があると考えられる。 一方，［縦表示］は［まとめて表示］と比べて平均値に差があり，有意に低かった（問１・３・５：p<0.01，問２：p<0.05）。アンケートの自由記述では，「目がつかれる」「交互に見ないといけないのが嫌」という記述があり，左右に分割され次々に表示される字幕を見るのが非常に困難だったことが伺える。 あらかじめ白文字で全体を表示し，発話タイミングに合わせて色を変化させる方式のうち，［色変換］は［まとめて表示］と比べて，問 4のみ有意差が見られたが（p<0.05）［カラオケ風］は有意差が見られなかった。今回，１行の文字色，を変化させる部分は，一定の速度で変えており，話速を考慮していないことも評価が低かった一因と考えられる。 今回の実験の被験者は，普段テレビを音声と字幕の両方で見ている聴覚障害者であり，字幕だけでなく音声情報と併用した場合の結果と考えられる。 ５．まとめ 漫才における字幕の表示タイミングの分析を行い，従来研究において音声による発話タイミングではボケ役とツッコミ役で特徴的な相違が見られるのに対し，今回分析を行なった字幕の表示では表示タイミングに差は見られず，音声に含まれていた笑いを生むための要素が字幕においては欠如していることがわかった。また，ボケ役の字幕とそれに続くツッコミ役の字幕は，同時に表示される場合が多く，字幕を見ている視聴者のネタバレ感を生む原因になっていることが推測された。 このような問題点を改善するために，発話タイミングを考慮した字幕を試作し，聴覚障害学生に対して比較実験を行なった。その結果，話者交代時の発話タイミングに合わせて表示を行う方式では，従来のボケ役とツッコミ役の字幕を同時に表示する方式に比べて有意差が見られ，一定の効果があると考えられる。一方，同様に発話タイミングに合わせて縦向きに話者ごとに左右それぞれ表示する方式では，評価の平均値が低く，見るのが困難であることがわかった。 聴覚障害者の字幕は技術的側面と内容的側面の２つの問題を抱えていることが指摘されており[2]，今回の検討は技術的側面の問題の一つを検討するものである。今後，聴覚障害者が聴者と共に笑うためには，内容的側面も合わせて検討する必要があると考えられる。 参照文献 [1]塙幸枝．情報アクセシビリティの観点からみる「共生」.聴覚障害者のためのお笑いの字幕化をめぐって.．日本コミュニケーション学会 Japanese Journal of Communication Studies. 2016; 44 (2): p.151-164. [2]照屋一博．言語テクストとしての「漫才」における発話機能と潜在的属構造 .上級日本語学習者の漫才の理解のために．日本学刊． 2016; 19: p.80-99. [3]川嶋宏彰，スコギンズ・リーバイ，松山隆司．漫才の動的構造の分析 .間の合った発話タイミング制御を目指して.．ヒューマンインタフェース学会論文誌． 2007; 9(3): p.379-390. Captioning of Japanese Comedy Performances for the Deaf KATO Nobuko, NISHIYAMA Sayuri Department of Industrial Information, Faculty of Industrial Technology, Tsukuba University of Technology Abstract: In this paper, we discuss the captioning of Japanese comedy performances. First, we analyze the display timing of the caption in comedy performances on TV and compare it with the utterance timing. We also conduct an evaluation experiment on captioning for deaf students. For this purpose, we prepare several captions with different display timings and methods. The results of the evaluation experiment show that a caption displayed at the same time as the beginning of the talk had a higher impact. Keywords: Utterance timing, display timing, Captioning, communication support, Accessibility, Deaf