パラ言語的，非言語的な聴覚障害学生向け教示支援手法の開発

鈴木拓弥
筑波技術大学　産業技術学部　総合デザイン学科
キーワード： Hearing-Impaired, Practical Lesson, Information Support, Visualization, Caption, Paralanguage

研究の背景
聴覚障害学生に対する授業では，情報保障として手話と字幕による情報の伝達が代表的な手段であり，教員や視聴覚教材から発せられる音声を手話や字幕に変換し，視覚を通じて伝達される。このため，聴覚障害学生は健聴学生に比べ，視覚によって得るべき情報が多い。講義の場合には，教員の手話や口話，板書，あるいは事前に準備された資料に視線を頻繁に移動させる必要があり，視覚から得るべき情報が増大する。更に実技演習の場合には教員の実演の注視が必要となり，実演を注視した結果，説明を見逃す，あるいはその逆など，講義時よりも困難な問題があることが分かった。そこで，実演と説明との間の空間・時間的な間隔を近付け，演習を受講する聴覚障害学生の授業理解度を向上させる目的で，教示支援ソフトウェア SZKITを開発した[1-2]。SZKITは，マウスカーソル脇に説明文およびクリック状態・特殊キーの押下状態といった教員の操作内容をアイコンとして表示するもので，複雑なマウス操作が必要なソフトウェアの使い方を教える際に役立つ教示支援ソフトウェアである。SZKIT開発後は，SZKITを用いた実演を動画キャプチャするだけで，編集作業を経ることなく字幕付き動画教材を容易に作成できるようになった。動画教材化することで，学生自身で自己の習得段階や理解度に合わせて学ぶことができるようになった。しかし，SZKITを用いた動画教材の活用を進める中で，新たな問題があることに気が付いた。その問題とは動画による自主学習時に理解まで極端な時間を要するケースが観察されたことである。そこで動画教材を用いて学習する学生の行動，すなわち理解を得るまでの過程や，理解の妨げとなっている要因ついて実験を通じて調査した [3]。実験の結果，理解まで極端な時間を要するケースでは，字幕を優先することで，操作上重要なポイントを見落としたまま，誤った操作を繰り返している場面が確認できた。これは教員が文字情報として漏れなく教示内容を提示していたとしても，聴覚障害学生は情報過多や読解力などの聴覚障害による二次的障害などから，十分に情報を受け取れていない場合があることを意味している。対策として，表示される文字量を減らす，文章を簡易な表現に見直す，教示時に十分な時間を確保する，触覚などの別の体性感覚を補助的に用いるなどの手法（SZCAT，SZFOX）を試し，それぞれ有効性を検証した[4-5]。また，研究を進める過程で，授業理解度向上に有効な手法として，教示内容を一定時間，履歴として提示する手法 SZKISSを開発し，有効性を検証した [6]。一連の研究を進める過程で，言語情報を主体とした手法の問題点や，非言語的な情報提示が有効である可能性が分かってきた。

成果の概要
研究の背景で述べた可能性に着目し，本研究では聴覚障害学生に対する実技演習をより円滑に支援するため，SZKITからSZKISSに至る過程において開発した教示支援ソフトウェアを再開発した。
従来はテキスト情報のみを表示し，白黒反転と文字サイズの調整のみの限定的な機能であった字幕表示ウィンドウに，テキスト以外の情報を表示できるように改修した。また，重要な操作へ視線を誘導し，見逃しを防ぐため，注意喚起を促す機能を追加した。具体的には字幕表示ウィンドウに，以下の表示機能を追加した。
1-1）文字の太さ，色，斜体，下線等の文字装飾機能。
1-2）イラスト・イメージ・図形などの表示機能。
1-3）動画・3Dオブジェクトなどの表示機能。
1-4）注意喚起機能（カーソル位置への集中線表示）。
1-5）TeXフォーマットによる数式表示機能。
上記機能の実装にあたり，追加機能は従来からの手法であるWindowsAPI及び .NETフレームワークによって独自開発するのではなく，Webブラウザ Google Chromeが基礎部分として使用しているChromiumブラウザ [注1]を用い，上記機能を実装した。
同仕様により，各表示機能を動作させるためのコードは独自の記述方法を用いる必要がなく，簡易で汎用性が高いコードの記述が可能となった。
1-1及び 1-2の機能を動作させるためのコードは HTML及び CSSによって記述する。1-3及び 1-4の機能を動作させるためには，CSS及び HTMLに加え JavaScriptによってより高度な制御が可能である。文字装飾機能の表示例を図 1に，イメージ表示例を図 2に，注意喚起機能（カーソル位置への集中線表示）例を図 3にそれぞれ示す。1-5の TeXフォーマットによる高度な文字表示機能については，数式をウェブブラウザ上で表示するJavaScriptライブラリである MathJax [注 2]を用いて実装した。数式を表示する場合には，TeXフォーマットによってコードを記述する。TeXフォーマットのコードは MathJaxによって処理され，Chromiumブラウザが表示する。TeXフォーマットによる数式表示例を図 4に示す。
以上の改修により，これまでテキスト情報の表示機能のみであった字幕表示部分にテキスト以外の様々な情報が簡便なコーディングによって提示できるようになった。
本研究では教示支援ソフトウェアの開発のみであり，再開発した教示支援ソフトウェアの有効性は検証していない。既に筆者の担当している聴覚障害者向け実技演習への活用も開始しており，今後，有効性を検証する計画である。

図1　文字装飾機能の表示例

図2　イメージ表示例

図3　注意喚起機能（カーソル位置への集中線表示）例

図4　TeXフォーマットによる数式表示例

[注1]Chromiumブラウザ https://www.chromium.org/
[注2] MathJax https://www.mathjax.org/ 


参照文献
[1]鈴木拓弥，聴覚障害学生にコンピュータ操作を教示する支援ツール SZKITの開発，電子情報通信学会技術研究報告，信学技法，vol.110(418), pp.25-30， 2011
[2]鈴木拓弥， 若月大輔， 小林真，聴覚障害者にコンピュータ操作を視覚的に教示する支援ツールSZKITの効果．電子情報通信学会論文誌，情報・システム D, J97-D(1), pp.108-116, 2014.
[3]鈴木拓弥，聴覚障害学生向け実技演習の教示支援手法に関する研究，工学院大学大学院（博士学位論文）， 2018.
[4]鈴木拓弥，小林真，長嶋祐二：聴覚障害学生向け実技演習を支援する触覚情報提示システム SZCATの効果に関する基礎的研究，電子情報通信学会論文誌D（情報・システム）, J101-D(3)，pp.560-568，2018.
[5]鈴木拓弥，小林真，長嶋祐二：聴覚障害学生向け触覚情報提示システム SZFOXの有効性について，ヒューマンインタフェース学会論文誌，Vol.20 No.2，pp.183190，2018
[6]鈴木拓弥，長嶋祐二，聴覚障害学生向け実技演習における実技演習履歴提示ソフトウェア SZKISSの開発と有効性の検証，電子情報通信学会論文誌，情報・システム，J101-D(2), pp.359-368, 2018．