聴覚障害学生の学習場面におけるプロジェクタを用いた情報保障システムの研究

筑波技術大学筑波技術短期大学部電子情報学科情報工学専攻1）　筑波技術大学産業技術学部産業情報学科2）

元西 洋平1）　若月 大輔2）　皆川 洋喜2）　西岡 知之2）　加藤 伸子2）

要旨：ノートや資料に視線を落としている場合でも授業内容を把握できる聴覚障害学生のための視覚情報保障支援システムを提案する．現在，本学の聴覚障害学生に対する授業では手話や指文字，板書，スライドなどの視覚的な手段で説明が行われている．このため，ノートや資料に視線を落としているときに，教員の説明を見ることができない場合がある．これを解決するために．本システムはビデオカメラを用いて教員映像を取得しプロジェクタを用いて机上に教員映像を表示する．試作したシステムを用いて本学の聴覚障害学生を対象にして実験を行い，有効性と問題点についての検討を行った．
キーワード：聴覚障害学生，情報保障，学習支援，プロジェクタ

1．はじめに
　本学の授業において，聴覚障害学生は手話，板書およびプレゼンテーションツールなどの様々な視覚的な方法で授業を受けている．授業内容を正確に把握するためには，教員の説明に常に注目している必要がある．一方，より高度な授業内容では，説明と同時に資料を閲覧したり，ノートを取ったりする必要がある．その際，説明から視線をそらす必要があり，教員の説明と同時に資料閲覧やノートを取ることが難しい．
　本研究では聴覚障害学生が授業中にノートを取る場合でも教員の様子や説明の把握を可能にするために，プロジェクタを用いた視覚情報保障支援システムの研究開発を行う．これまで，聴覚障害学生を対象とした情報保障についての取り組みでは，HMDや小型ディスプレイを用いて手話通訳や字幕を提示する方法に関する報告がある[1][2]．HMDや小型ディスプレイを用いて教員の説明を提示する場合，前者はHMD装着者に対する負担が大きいこと，後者はノートを取る際に邪魔になることが予想される．
　そこで，情報保障の映像をプロジェクタを用いて机に表示する方法を提案する．本報告では，情報保障の映像として教員の説明を対象とした．教員の様子をビデオカメラで撮影してリアルタイムに机の上に表示する．撮影した映像をそのまま表示すると歪みが生じるため，テクスチャマッピングを応用して歪み補正を行った．実際にシステムを試作し，本学の聴覚障害学生に対して予備実験を行った結果について示す．

2．試作したシステム
2.1　システムの概要
　試作したシステムは，図1に示すようにビデオカメラ（SONY HDR-HC3 解像度：720×480），コンピュータ，およびプロジェクタ（BenQ CP120解像度：1024×768輝度：1500lm）で構成する．ビデオカメラで撮影した教員や板書の映像を，プロジェクタで机の上に表示するシステムである．しかし，ビデオカメラからの映像をそのままプロジェクタで机に表示すると歪んだ表示になってしまう．そこで，コンピュータを用いて映像の歪みを補正する．
2.2　映像の歪みの補正方法
　映像の歪みを補正する方法として，映像をピクセル単位で座標変換する方法が考えられる．この方法では正確に歪みを補正できる．しかし，1フレームの処理コストが高く，リアルタイムな表示は困難である．
　そこで，コンピュータグラフィックス（CG）で広く利用されているテクスチャマッピングを用いる．映像をテクスチャとして貼り付けた4角形ポリゴンを変形することで映像を自由に変形できる[3]．グラフィックスハードウェアによる高速な映像の歪み補正処理が可能であり，高いフレームレートの維持ができる．グラフィックスライブラリOpenGLを用いてソフトウェアを作成した結果，ビデオカメラからの映像の取り込み，歪み補正およびその表示を約30fpsで実行可能であった．なお，歪みに合わせた4角形ポリゴンの変形は，その4つの頂点座標を順にマウスを使って手動で指定する方法を採った．机にあわせて映像の歪みを補正した映像を図2に示す．プロジェクタから視界に入る光を抑えて，眩しさを軽減するために，映像以外の背景は黒とした．実際に机に表示される映像を図3に示す．表示した映像の解像度は362*288程度であった．

図1　システムの概要
図2　コンピュータ上の映像
図3　教員映像を表示

3．実験・評価
3.1　実験方法
　本システムの有効性を確認するために，システムを試作し実験を行った．場所は520教室，カーテン，ブラインドを閉め，蛍光灯を全て点灯した状態とした．システムは図4のように配置し，実際の様子を図5に示す．図5の右方向は教卓がある方向である．教員の映像は灰色に近い色の表面を持つ机に表示した．被験者は本学の聴覚障害学生6名として本システムを使用して教員の説明を受ける．教員役は著者が担当した．説明の内容は主に本研究の紹介と説明である．机の上に表示する映像の位置は机に向かって左上，中央上，右上の3種類として，被験者が自由に選択できるようにした．約30分利用してもらった後，アンケート調査を行ったアンケートの内容を以下に示す．
1．ペンを持つときの利き手を教えてください
2．左上，中央上，右上に配置された映像について，見やすい順の順位
3．映像の配置について何か意見がありましたら記述してください
4．本システムで表示した映像から手話はどれくらい分かりますか
5．本システムで表示した映像から指文字はどれくらい分かりますか
6．本システムで表示した映像から，読唇はどのくらい分かりますか
7．本システムで表示した映像から，板書はどのくらい分かりますか
8．本システムで表示した映像から，ノートを取っている場合でも教員の様子が分かりますか
9．プロジェクタからの光はどれくらい眩しいですか
10．このようなシステムで講義を受けることに抵抗はありますか
11．疲労は感じますか
12．映像があると，教員の説明の理解に役立つと思いますか
13．このシステムに興味を持ちましたか
14．このシステムはどのような講義に役立ちそうですか
15．授業以外ではどのようなことに利用できそうですか
16．このシステムについてどのような改善を望みますか
17．自由記述
　1の質問は右利き，左利き，両手利きの3種類の選択肢を用意した．2の質問では机の左上，中央上，右上の3種類の位置に表示した映像について順位をつけてもらった．4〜13までの各質問については7段階で評価した．3，14〜17についての質問は意見やコメントを記述してもらった．
3.2　実験結果
　第3.1節で示したアンケート内容について集計した結果を表1〜4，図6〜8に示す．
　質問1の利き手に関する質問では右利き5人，左利き1人であった．質問2の机上の映像を表示する場所の順位について3段階（3：1位，2：2位，1：3位）で評価し，利き手と映像の配置についてまとめた結果を表1に示す．質問3の映像の配置について記述してもらった結果，次のような意見があった．
A3-1　利き手によって見やすい配置が異なる
A3-2　映像の位置や大きさ，角度を自由に調整したい
　質問4〜7の本システムを使用して，手話，指文字，読唇，板書の文字をどの程度読むことができるか，質問8のノートを取っている時に教員の様子をどの程度把握できるかについて7段階（−3：かなり読み取れない〜 0：どちらともいえない〜3：かなり読み取れる）で評価してもらった結果を図6に示す．また，詳細な数値を表2に示す．なお，図中◆の点が平均値，エラーバーは標準偏差である．
　質問9〜11のプロジェクタの眩しさ，システム利用に対する抵抗感，および疲労感について7段階（−3：かなり［眩しい/ 抵抗がある/疲労がある］〜0：どちらともいえない〜3：かなり[眩しくない/抵抗がない/疲労がない]），で評価してもらった結果を図7に示す．詳細な数値を表3に示す．
質問12，13のノートを取っている時の教員の説明理解や様子把握への有効性，および本システムに対する興味について，7段階（−3：かなり［役立つと思えない／興味を持たなかった］〜0：どちらともいえない〜3：かなり［役立つと思う／興味を持った］）で評価してもらった結果を図8に示す．詳細な数値を表4に示す．
　質問14〜17について，本システムがどのような授業で役立つか，授業以外での利用方法，本システムに望む改善点，および自由記述について回答してもらった．
　質問14 の役立つ授業について，主な回答を以下に示す．
A14-1　ほとんどの授業で役に立つ，特に手話による説明や板書が多く，頻繁にノートを取らなければならない授業
A14-2　大人数の授業．席が後ろのときに教員の説明や様子を把握しやすい
A14-3　放送大学のような映像そのものが講義となる授業
　質問15 の授業以外への利用方法について，主な回答を以下に示す．
A15-1　パワーポイントを用いる会議において，それぞれの参加者に対する情報保障
A15-2　e-learningなどのパソコンを用いた通信教育の表示方法
　質問16の本システムに望む改善について，主な回答を以下に示す．
A16-1　映像の配置や大きさなどを自由に変更できると良い
A16-2　画像全体がぼやけてはっきりしない．画質の改善が必要
A16-3　映像の解像度が低いため教員の唇や板書が読みにくい
A16-4　映像が表示される部分に下地が欲しい（白い紙を敷くなど）
A16-5　カメラの方向やズームを制御できると良い
A16-6　映像の明るさやコントラストを変更できると良い
　質問17の自由記述については以下のような回答があった．
A17-1　新しい情報保障の方法であり，今後の進展を期待している
A17-2　問題点や改善点はまだ残されている．より良いシステムにするために研究を進めていって欲しい

図4　機材の配置
図5　実際の様子
表1　映像の見やすい配置について評価結果
表2　各手段の読み取りについての評価結果
図6　各手段の読み取りについての評価結果
表3　眩しさ，抵抗感，疲労感についての評価結果
図7　眩しさ, 抵抗感, 疲労感についての評価結果
表4　有効性と興味についての評価結果
図8　有効性と興味についての評価結果

3.3　考察
3.3.1　映像の配置について
　表1に示した利き手と机に表示した映像の配置に関する結果から，ペンを持つ手の反対側に配置する際に見やすい傾向がある．ペンを持つ手が映像を見るときに邪魔にならないことに起因すると考えられる．回答A3-1にも利き手による映像の配置に関する意見があった．
　しかし，回答A3-1や質問16の本システムの改善に関する回答A16-1のように，映像の配置や大きさを自由に変更したいという意見もあり，授業の種類や場面に応じて利用者が自由に映像のレイアウトを変更できる必要がある．
3.3.2　映像情報の読み取りについて
　表2，図6は手話，指文字，読唇，板書，および教員の様子についての映像情報の読み取りに関する結果である．手話および教員の様子に関する評価の平均値は1以上で標準偏差も小さいため，ほとんどの被験者が読み取れている．指文字と板書については標準偏差が大きく読み取りに個人差が見られた．また，読唇については評価の平均値が低く，標準偏差も大きい．ほとんどの被験者が読み取ることができなかった．
　映像情報の読み取りの評価が低かった理由としては，質問16の本システムの改善に関する回答A16-2，A16-3 で指摘されたように，映像の画質や解像度の問題が原因となっていると考えられる．また，本実験では3つのシステムを図5のように配置して実験を行った．各システムで机や教員に対するカメラとプロジェクタの位置，姿勢は一定ではないため，各評価の個人差はシステムの個体差にも起因している可能性もある．
3.3.3　システム利用に関する抵抗や疲労について
　プロジェクタの眩しさ，システムに対する抵抗感や疲労感について表3，図7に示した．眩しさと抵抗感に関する評価はどちらともいえないという回答が多く，本システムの利用に当たってはあまり問題にならないようだ．しかし，疲労感がやや高いという傾向が明らかとなった．質問16の回答で挙げられた試作システムに対する多くの改善意見も踏まえて，疲労の原因や解決方法について調査，検討を行っていきたい．
3.3.4　本システムの有効性と興味について
　本システムを利用した場合に，教員の説明理解にどの程度役立つか，また本システムへの興味に関する結果を表4，図8に示した．いずれの評価も1以上であり高い評価が得られた．本システムは教員の説明の理解を補助する上で役立つことが示唆された．
　質問14の本システムが役に立つ授業について，回答A14-1のようにノートを取ったり資料を参考にしたりする必要がある授業で役立つとの意見があった．また，回答A14-2のように教壇から席が遠い学生のための情報保障手段として役立つとの意見もあった．直接視覚的に得られない，あるいは見難い情報を提示することにも本システムは有効であると考えられる．回答A14-3 のように映像中心の授業を表示することにも有効であるとの意見があった．
　質問15に本システムの授業以外の利用方法について，回答A15-1では，パワーポイントを用いる大人数の会議において，それぞれの参加者に対する情報保障として有効であるとの意見があった．回答A15-2では，文字や音声，映像コンテンツを用いたe-Learningなどの通信教育の表示方法に有効であるとの意見があった．
　本システムは，特別な装置を机の上に置くことなく手元に映像を映し出すことができるため，様々な情報保障への応用が可能であることが示唆された．
　一方，質問17の自由記述の回答A17-1，A17-2から，本システムへの興味や期待も高いことが分かった．
3.3.5　システムに対する改善について
　質問16の本システムに望む改善点について試作システムの問題点とその解決方法について述べる．
　回答A16-1の映像の位置や大きさについては，現システムでも自由に変更可能である．現在はマウスで映像の4隅を順に指定して映像の位置を決定している．しかし，実空間でマウスを動かす方向と，コンピュータ上のマウスが動く方向が一致していないために設定に時間を要する．ユーザインタフェースの簡単化や，自動化によってユーザの好きな位置に映像を表示できるような改善が必要である．
　回答A16-2の映像のぼけはプロジェクタのフォーカスが原因であると考えられる．本実験では3種類の位置に映像を表示したが，全ての位置で同時にフォーカスをあわせるのは難しい．画像を表示する場所に応じて適宜フォーカスをあわせる必要があった．
　回答A16-3の解像度についてはプロジェクタの解像度が低いことが原因である．試作システムではプロジェクタをスタンドに設置する必要があったため性能が制限された軽量なものを使用した．プロジェクタを机の近くに配置したり，より高解像度のプロジェクタを導入したりすることで高解像度化が可能である．
　回答A16-4は映像を映し出す机の材質についての問題である．今回は灰色に近い表面の机に映像を表示したため，専用のスクリーンなどに表示した場合と比べて画質が劣化していたことが予想できる．被験者によっては映像の位置に白い紙を敷いたりする工夫も見られた．一方，回答A16-6のように映像の明るさやコントラストの変更も必要であることから，表面の色や材質に合わせた色補正が必要である．
　回答A16-5については，市販の首振りカメラの応用や，広角の高解像度カメラで教員や板書の全体像を撮影してデジタルズームを行う方法などで実現できる．
　今後は，以上の本システムに関するこれら問題点について検討し，改善を行っていきたい．

4．まとめ
　聴覚障害学生の学習支援のために，プロジェクタを用いた視覚的な情報保障映像を机の上に表示する方法を提案した．授業の様子を机に表示し，ノートを取る場合や資料を閲覧している間でも教員の様子を把握できるシステムを試作した．
　プロジェクタで映像を表示する場合に生じる歪みはテクスチャマッピングを利用してリアルタイムに補正した．
　試作システムを用いて本学の聴覚障害学生を対象に実験を行った．結果として，手話の読み取りや，ノートを取っているときの教員の様子を把握することに役立つことが示唆された．また，映像の画質や解像度の改善によって指文字や読唇，板書の読み取りへの活用も期待できる．
　今後の課題は，第3.3.5節で示した本システムの改善である．また，HMDや小型ディスプレイを用いた場合との比較実験や，本システムを用いて手話通訳映像や字幕，および要約筆記といった情報保障映像を提示した場合について検討していきたい．

謝辞
　実験での被験者役を快く引き受けていただき，多くの有効なアドバイスを頂いた筑波技術大学聴覚部の学生の方々，ならびに，実験機材を貸していただいた筑波技術大学電子情報学科の先生方に深く感謝いたします．
　なお本研究は，平成18年度教育研究等高度化推進事業A競争的教育研究プロジェクト事業（「プロジェクタを用いた視覚的な情報保障システムの研究開発」，代表者：若月 大輔）の助成を受けて行いました．ここに記して感謝致します．

参考文献
[1] 西岡，河野，三好，加藤，村上，内藤，皆川，白澤，石原：ゼミ形式授業の遠隔情報保障におけるHMDの活用，ヒューマンインタフェースシンポジウム2005 講演論文集，Vol.2，pp.657-660，2005
[2] 加藤，河野，内藤，村上，皆川，三好，石原：会話場面での遠隔手話通訳システムにおける視覚情報に関する評価，ヒューマンインタフェース学会論文誌，Vol.7 No.3，pp.59-68，2005
[3] D WAKATSUKI,I ISHII,A TAKAHASHI“ A Shape Resolution Control of Textured Object Applying Tolerance Caused by Movement,” IEICE Transactionson Information and Systems, Vol.E89-D,No.1,pp.28-36(2006).

A Study of Learning Support System Applying Projector for Hearing Impaired

Yohei MOTONISHI1)　Daisuke WAKATSUKI2)　Hiroki MINAGAWA2)　Tomoyuki NISHIOKA2) and Nobuko KATO2)

1) Department of Information Science, Faculty of Tsukuba College of Technology, Tsukuba University of Technology
2) Department of Industrial Information, Faculty of Industrial Technology, Tsukuba University of Technology

Abstract: We describe an advanced system supporting visual information for the student of hearing impaired. In the class of this university, the students have been learning by using visual information such as sign language and presentation tool. However, they fail often to notice the explanation, because they turn their eyes to the desk in order to take notes or read documents. Therefore, we propose the system that display the image of the teacher on students' desk in real-time. The effectiveness and the problem about our system are shown through experiment that students of hearing impaired use the test system.
Keywords: Hearing impaired, Communication Support, Learning Support, Projector