聴覚障害者の講義受講支援のためのプロジェクタを用いた情報保障の基礎的検討 筑波技術大学 産業技術学部 産業情報学科† 筑波技術大学大学院 技術科学研究科†† 株式会社東芝デジタルプロダクツ＆サービス社††† 若月 大輔† 内藤 一郎† 三宅 太一†† 元西 洋平††† 要旨：聴覚障害者にとって大学の講義でノートを取る、資料を見るなどの視線を机の上に向ける場面では、手話や文字通訳を見ることができなくなるため十分な情報保障を得られなくなる。本研究では手のひらサイズの小型プロジェクタを用いて机の上に映像を投影することによって聴覚障害者の情報保障を行う方法を提案する。実例として、手話を使えない講師が担当する大学の講義を対象として、発話音声をPC要約筆記によって文字通訳した映像を机の上に提示する情報保障の検討を行った。その結果、聴覚障害者が視線を机の上に向けているときに得ることができなかった情報保障が可能となり、講義受講支援に役立つことが示唆された。特に、学生が講義内容のノートを取る必要がある場合に、より有効であることが明らかになった。 キーワード：情報保障，聴覚障害者，小型プロジェクタ，PC要約筆記 １．はじめに 　高等教育機関で聴覚障害者が講義を受け十分に内容を理解するためには、講師が発話する聴覚情報を、手話や文字通訳などの視覚情報へ変換して情報保障を提供する必要がある。しかし、ノートの書き取りや資料に目を通すために手元に視線を向けてしまうと、情報保障を受けることができなくなってしまう。そこで、本研究では聴覚障害をもつ大学生に対して、講義の際に十分な情報保障を提供できるように、プロジェクタを用いて情報保障の映像を手元に提示する方法を提案し、その基礎的な検討を行う。 　実際の授業場面では、聴覚障害者は教員と提示資料だけでなく、情報保障（手話、文字通訳）とを合わせて見て授業を受ける。さらに、ノートに内容を書き取る、資料に目を通すなどの手元に視線を向けなければならない場面も多く、視覚と視線移動の負荷が大きくなる。また、手元の配布資料を見る、ノートを取ることに集中しているときは情報保障を受けることができないため、講義の進行について行けなくなってしまう。したがって、大学の講義を受ける場面において、単に手話や文字通訳を聴覚障害者に提示するだけでは、十分な情報保障を提供できていない可能性が高い。 　聴覚障害者に対する情報保障を提示する方法を工夫することによって、より質の高い情報保障を提供するための取り組みが行われている。大学の講義の際に、手話や文字通訳による情報保障を手元のノートPCの画面に集約して提示する試み、HMDを用いて情報保障が常に視界に入るように提示する試み、エリア限定ワンセグ放送や公衆無線ネットワークを利用して小型の情報端末によって情報保障を提示する試みなどが進められている。このように、各聴覚障害者が必要な場面で必要な情報保障を得られるようにパーソナルな情報保障が検討されてきている。 　本研究では、先に述べたパーソナルな情報保障として、手のひらサイズの小型プロジェクタを用いて聴覚障害者が必要とする視覚情報を机の上に提示する方法を提案する。プロジェクタを用いて教員や提示資料、情報保障を提示することによって、大学講義の受講支援を行うシステムを試作した[8][9]。本システムを筑波技術大学で開講されている非常勤講師が担当する授業に導入し、文字通訳映像を机の上に提示することによって情報保障を実施した。その結果、聴覚障害者が視線を机の上に向けているときでも情報保障を受けることが可能となり、講義受講支援に役立つことが示唆された。特に、講義内容のノートを取るときに、机の上の情報保障がより有効であることが明らかになった。 ２．パーソナルな情報保障 　聴覚障害者に対する情報保障は、聴覚障害者のところへ手話通訳者や文字通訳者が行き、情報保障を提供するのが一般的である。一方、通訳者を手配が難しい地域に対してネットワークを介して情報保障を提供する遠隔情報保障の取り組みもある[1][2]。いずれの方法でも、情報保障は現地会場の前方から聴覚障害者へ提示されることが多い。 　しかし、聴覚障害者が希望する情報保障の種類や、提供されたい場面は様々であるため、個別の要求に対応することができるパーソナルな情報保障が望まれている。 　遠隔情報保障で提供される手話通訳映像とPC要約筆記による文字通訳をノートPCで提供する試みがなされている[3][4]。各情報保障は専用のソフトウェアで表示され、画面上でレイアウト、文字通訳の文字サイズや行数を自由に変更することができ、個別の要求に合わせた情報保障を提供することが可能である。 　話者と提示資料、および情報保障の間の視線移動の負荷を軽減するために、ヘッドマウントディスプレイ（HMD）の活用について検討が行われている[5]。HMDを用いることによって、個別の映像を常に視野内に提示することができるため、聴覚障害者の要望や場面に応じた情報保障を提供することが可能となる。一方、HMDの固定焦点映像や両眼視野闘争などに起因する身体的負荷に対する課題も明らかになっている。 　より様々な場面で柔軟に情報保障を提供できるように、携帯端末で情報保障を提供する取り組みも行われている。映像と音声を文字通訳された字幕をエリア限定ワンセグ放送で配信する方法が提案されている[6]。ワンセグ放送受信は小型であるため、手に持つなど好きな位置で情報保障を受けることが可能である。また、スマートフォンと携帯電話網を用いて文字通訳を提供する方法も提案されている[7]。音声通話機能で現地の音声を入力者へ送り、変換された文字通訳がウェブを介して提供されるシステムである。携帯電話網が利用できる場所であれば屋内外に限らず、移動しながらでも文字通訳を受信することができる。このように、必要なときに必要な場面で必要な情報保障を提供するための研究が広く行われてきている。 　本研究では、個別の聴覚障害者に対して、マイクロプロジェクタを用いて情報保障映像を机面に投影することによって講義受講支援を行うことを目的とする。本方法では、机の上に機材を置く必要がないため講義資料やノートの邪魔になることがなく、任意の位置、大きさで映像を表示できるため、手元に視線を向けているときに十分な情報保障を提供できると考える。 ３．プロジェクタを用いた情報保障システム 　プロジェクタを用いて情報保障のための映像を聴覚障害者の手元に提示するシステムの概念を図1に示す。手話通訳の映像、文字通訳の映像、およびカメラで撮影した講師や提示資料の映像などの情報保障のための映像をプロジェクタによって机の上に投影する。2種類以上の映像を合成したい場合は開発した専用のソフトウェアを用いて、映像をリアルタイムに合成できるようにした。 　実際に試作したシステムを図2に示す。プロジェクタとして手のひらサイズの小型プロジェクタを利用した（3M社 MPro150：寸法130D×60W×24Hmm、重量160g、明るさ15ルーメン、画素数640×480pixels）。他の学生の視界を妨げることがないように、同プロジェクタを小型のブームで机に固定し、机面に映像を投影した。机面から約450mmから投影すると約9インチの映像が表示される。 図1　プロジェクタを用いた情報保障システムの概念図 図2　試作したシステム ４.　講義受講支援実験 4.1　実験環境と方法 　筑波技術大学で開講された聴覚障害をもつ学生が受講する講義を対象にして受講支援実験を行った。実験対象の講義は2011年10月～11月に実施された2つの講義（管理システム論、情報マネージメント論）である。講師は手話を使わず、発話した音声をPC要約筆記者に文字通訳してもらい学生に提供した。図3に実験の様子を示す。文字通訳の映像は講義室前方（約60インチ）と、3節で述べた小型プロジェクタを用いて机の上に提示した。 講義を受講した後に、各学生から本方法に関する質問に回答してもらった。 図3　講義受講支援実験の様子 4.2　実験内容 　前節で述べた授業を受講した聴覚障害をもつ学生（20～21歳の男女）、延べ44名を対象に次の質問に回答してもらった。 Q1.机面に表示された文字通訳を利用した感想は良かったか（良くなかった、良かった） Q2-A. 手元に視線を向けるときに机面の文字通訳は参考になったか（参考にならなかった、参考になった） Q2-B. 手元に視線を向けるときに講義室前方の文字通訳は参考になったか（参考にならなかった、参考になった） Q3-A. 手元に視線を向けないときに机面の文字通訳は参考になったか（参考にならなかった、参考になった） Q3-B. 手元に視線を向けないときに講義室前方の文字通訳は参考になったか（参考にならなかった、参考になった） Q4. 講義の進行把握に机面の文字通訳は有効だったか（有効でなかった、有効だった） Q5. 机面の文字通訳利用で普段よりも疲労を感じたか（疲労を感じなかった、疲労を感じた） Q6. 机面の文字通訳を投影するアームは邪魔だったか（邪魔でなかった、邪魔だった） Q7. 授業中にノートを取った文字数 Q8. 自由記述 　Q1～Q6の質問の回答は1～7ポイントの7段階で、中心の4ポイントを「どちらとも言えない」とし、両端の1ポイントと7ポイントの指標を（ ）内に示した。例えば、Q1の場合は「良くなかった（1）」～「どちらとも言えない（4）」～「良かった（7）」とした。Q7については実際にノートを取った文字数を回答してもらった。 4.3　実験結果 　Q1～Q8の回答結果の平均（◆）と、標準偏差（エラーバー）を図4～8に示す。検定にはt検定を用いた。Q7のノートを取った文字数については、平均が83.75で、1文字以上書いた学生が32名、まったく書かなかった学生が12名である。Q8については次のようなコメントがあった。 　C1. ノートを取りやすかった 　C2. いちいち講義室前方を見なくて済むからよかった 　C3. 提示資料を見るときは講義室前方の文字通訳を参考にすることが多かった 　C4. 机面の文字通訳は見なかった 図4　Q1（感想）の結果 図5　Q2～Q3（視線別の参考になった文字通訳）の結果 図6　Q4（講義の進行把握）の結果 図7　Q5（疲労感）の結果 図8　Q6（アーム等の邪魔さ）の結果 ５．考察 5.1　机面に投影した文字通訳が役立った場面 　授業全体を通して机面に文字通訳を投影する方法に対する感想についての回答（図4、Q1）では平均が約5.7ポイントであり、学生に好意的に受け止められていることがわかった。 　ノートを書いたり配布資料を読んだりするために視線を手元に向けているときと、向けていないときに文字通訳がどの程度参考になっているかについての回答（図5、Q2～Q3） を見ると、視線を手元に向けているときに机面の文字通訳（Q2-A）も前方の文字通訳（Q2-B）のいずれも5.5ポイント以上であり参考にしていることがわかった。実験対象の講義は、学生はこれまで前方の文字通訳のみで受講していたが、今回新しく追加した机面の文字通訳についても同等に参考にしていることがわかり、特に熟練を要することなく活用されていることが明らかになった。講師や提示資料を見るなど視線を手元に向けていないときについては、机面の文字通訳（Q3-A）が4.9ポイント、前方の文字通訳（Q3-B）が6.4ポイントであり、より講義室前方の文字通訳を参考にしていることがわかった。また、提示資料や講師を見ているときは講義室前方の文字通訳を参考にすることが多かったというコメント（C3）もあり、視線方向に近い文字通訳を参考にする傾向があった。 　手元に視線を向けているときに机面の文字通訳（Q2-A）と、講義室前面の文字通訳（Q2-B）が参考になったかどうかについて、講義中にノート取った学生32名と、取らなかった学生12名に分けて調べてみた結果を図9、10に示す。Q2-A’とQ2-B’がノートを取った学生、Q2-A’’とQ2-B’’がノートを取らなかった学生の結果である。講義室前方の文字通訳については有意な差がみられなかった。しかし、机面の文字通訳については、ノートを取った学生は6.5ポイント、ノートを取らなかった学生は4.2ポイントで有意な差があり、ノートを取った学生が従来の講義室前方の文字通訳に加えて机面の文字通訳を積極的に利用していたことが明らかになった。学生からもノートを取りやすかった（C1）とのコメントがあった。また、講義室前方を見なくて済んだ（C4）というコメントもあり、机面に表示された文字通訳を参考にすることで視線移動が減り、ノートが取りやすかったことが示唆された。 5.2 講義受講に与える影響 　講義がどこまで進んでいるかを把握するのに机面の文字通訳は有効だったか（Q4）については5.8ポイントであった。従来は講義室前方を見なければ文字通訳を受けることができなかったが、机面にも文字通訳が提示される場合はノートや資料を見ていても講師の発言を直ちに認識することができるため、講義の進行の把握に役立ったと考える。 　机面の文字通訳のない普段の講義形態と比較して疲労を感じたかどうか（Q5）については2.1ポイントであり、普段の講義よりも疲労を感じていないという結果となった。これは、コメントC2のように視線移動が減ったことと、コメントC3のように場面に応じて参考にしやすい文字通訳を選ぶことができたことが原因であると考えられる。 　本方法では、机面に映像を投影するためにアームで小型プロジェクタを固定する必要がある。これらの器具を邪魔に感じるかどうか（Q6）については2.7ポイントであり、多くの学生が邪魔に感じていないという結果であった。しかし、アームの設置位置によっては、講師や提示資料を見るのに邪魔になることを指摘する学生もいた。また、コメントC4のように机面の文字通訳をほとんど参考にしなかった学生とっては邪魔に感じられ、標準偏差が2.0と大きくなったと考えられる。 図9　手元に視線を向けるときの机面の文字通訳（ノートを取った学生vs.ノートを取らなかった学生） 図10　手元に視線を向けるときの講義室前方の文字通訳（ノートを取った学生vs.ノートを取らなかった学生） ６．まとめ 　本研究では、パーソナルな情報保障として、手のひらサイズの小型プロジェクタを用いて聴覚障害者が必要とする視覚情報を机面に提示する方法を提案した。筑波技術大学で開講されている非常勤講師が担当する授業に導入し、文字通訳映像を机に提示することによって情報保障実験を実施し、本方法の基礎的検討を行った。 　その結果、従来の講義室前面の文字通訳と組み合わせて利用可能であり、特にノートを取る学生にとって参考になっていることが明らかになった。手元に文字通訳映像を提示することで、視線をノートや資料に向けている時でも参照でき、講義の進行把握に有効であることがわかった。また、本方法で文字通訳を提示することによって普段の講義形態よりも疲労感を低減でき、設置位置が配慮されていれば邪魔にならないことがわかった。 　今回の実験に協力してもらった学生から、文字通訳だけでなく、講義資料も一緒に提示されるとより授業の内容を把握しやすくなるかもしれないとの提案があった。今後は、文字通訳以外の情報保障を組み合わせた表示の検討を行いたい。また、本方法が大学講義を理解する上でどの程度効果があるのかを定量的に評価していきたい。 謝辞 　本研究は、平成22年度筑波技術大学産業技術学部研究等推進事業（「聴覚障害者支援のための卓上投影した情報保障映像の効果の検討」、研究代表者：若月 大輔）、ならびに平成23年度筑波技術大学教育研究等高度化推進事業・A競争的教育研究プロジェクト事業（「聴覚障害者の講義受講支援のための超小型プロジェクタを用いた情報保障の検討」、研究代表者：若月 大輔）から研究費を受け実施した。 　実験の実施にあたり、ご協力いただいた筑波技術大学の教職員の皆様、ならびに学生諸氏に感謝の意を表する。 参考文献 [1] 三好，河野，西岡，加藤，白澤，村上，皆川，石原，内藤，若月，黒木，小林，遠隔講義保障におけるリアルタイム字幕作成者を支援するための映像情報提示手法に関する基礎的研究，信学論．D，情報・システムJ91-D(9)，2236-2246，2008． [2] 加藤，河野，三好，西岡，村上，皆川，若月，白澤，石原，内藤，聴覚障害者の情報保障におけるパソコン要約筆記入力者に対するキーワード提示，ヒューマンインタフェース学会論文誌，9(2)，195-203，2007． [3] 加藤，河野，村上，白澤，皆川，若月，西岡，三好，黒木，石原，内藤，講義資料とキーワードを画面合成した遠隔手話通訳システム－通訳スタジオにおける検討－，ヒューマンインタフェース学会研究報告集，9(1)，23-28，2007． [4] 河野，加藤，村上，白澤，皆川，若月，西岡，三好，黒木，石原，内藤，講義資料とキーワードを画面合成した遠隔手話通訳システムにおける聴覚障害学生への提示方法，ヒューマンインタフェース学会研究報告集，9(1)，29-32，2007． [5] 西岡，皆川，内藤，清水，単眼非透過HMDによる字幕提示の講義場面での聴覚障害者への情報保障の効果，ヒューマンインタフェース学会論文誌，9(2)，35-40，2007． [6] 塩野目，加藤，若月，河野，西岡，村上，皆川，内藤，聴覚障害学生に対するエリアワンセグを用いた情報保障に関する一検討，ヒューマンインタフェース学会研究報告集，12(7)，69-72，2010． [7] 河野，三好，磯田，蓮池，白澤，モバイル型遠隔情報保障システムの見学場面における評価，信学技報．WIT，福祉情報工学110(164)，65-68，2010． [8] 元西，若月，聴覚障害学生の学習支援のためのプロジェクタを用いた視覚的情報提示システム，2007信学総大，基礎・境界，377，2007． [9] 若月，内藤，三宅，元西，マイクロプロジェクタを用いた聴覚障害者のための学習支援システムに関する基礎的検討，信学技報．WIT，福祉情報工学111(58)，19-24，2011． Basic Study on Learning Support Using a Handheld Projector for Hearing-Impaired Students WAKATSUKI Daisuke†, NAITO Ichiro†, MIYAKE Taichi††, MOTONISHI Yohei††† †Faculty of Industrial Technology, Tsukuba University of Technology ††Graduate School of Technology and Science, Tsukuba University of Technology †††Digital Products & Service Company, Toshiba Corporation Abstract: When hearing-impaired students take notes or see textbooks in a university lecture, they have to look away to concentrate on sign language or real-time captioning. Therefore, they may not be able to obtain enough information from the lecture. We propose a display system to support hearing-impaired students that attend such lectures. Our system displays images of sign language and real-time captions, etc., on a desk using a handheld projector. We tested and discussed an experiment that displays the real-time captions of a lecturer’s voice on the desk. It was suggested that our system is useful for hearing-impaired students to attend lectures because they are able to use real-time captions while they are looking down. More particularly, it was shown that our system is effective in enabling students to take notes on the lecture. Keywords: communication support, hearing impaired, handheld projector, real-time captioning