聴覚障害学生の二次的障害に配慮した実技演習支援手法の研究

鈴木　拓弥
筑波技術大学　産業技術学部　総合デザイン学科

キーワード：Hearing-Impaired, Practical Lesson, Information Support, Visualization, Caption, Operation Logs 

成果の概要
聴覚障害学生に対する授業では，手話や教示内容をまとめた資料などの，主に視覚的情報により説明する手法が一般的である。実技演習では，教員の実演と実演内容を補助的に説明するための情報の両方が同時に提供される必要がある。しかし，聴覚障害学生に対してこれらを同期した提供が難しく，実演と補助情報との非同期が学生の理解を妨げている。過去の研究で，聴覚から得られる情報を視覚情報に置き換え，教員の実演と補助情報とを同期して伝達する教示支援ソフトウェアSZKITを開発[1]し，障害当事者である聴覚障害学生達による評価を得た[2]。しかし，SZKITを授業で活用する中で，当ソフトウェアの補助では不十分な教示状態があることがわかってきた。SZKITは健聴者に対してであれば音声によって補助的に伝えられる内容を視覚情報に変換してリアルタイムで伝えている。そのため，聴覚障害学生は視覚に偏重して情報を受け取ることになる。結果として視覚から得られる情報が過多となり，見逃しなども発生しているのではないかと考えられた。そこでこれらの問題に対し，二つの手法を開発し，それぞれ有効性を検証した。一つは教示内容を言語情報に代わり伝達する手法として触刺激を用いる手法である。もう一つは教員が行った実演の履歴を一定時間提示する手法である。 

触刺激を用いた手法
学生の手に教員の手を被せて教示するような効果を狙い，小型軽量な触覚情報提示デバイスを開発した。パソコンを用いた実技演習ではマウスクリックやドラッグを連続して複雑に行う必要があり，教員の指の動きを正確にフィードバックするためにはデバイスの応答性が重要であることから，ソレノイド振動素子を用いた触覚情報提示デバイスを開発し，Widows上で動作する制御プログラムを含めたシステム全体をパッケージとして，SZCAT（SynchroniZed Click Action Transmitter）と命名した。SZCATの外観と各部の説明を図1に，SZCATを指に装着してマウス操作を行っている様子を図2に示す。

図1　SZCATの外観と各部の説明　Figure.1 Appearance and mechanism of SZCAT
図2　SZCATを着用してマウス操作を行っている様子　Figure.2 Image of operating mouse using SZCAT

デバイスと制御プログラムの開発後，筑波技術大学産業技術学部総合デザイン学科に所属する聴覚障害学生20名に対し，二重タスク試験，及びヒアリング調査と質問紙調査を実施した。SZCATを用いた場合と用いなかった場合とを比較し，二重タスク試験の結果及び質問紙調査の結果から，SZCATの有効性を示した．触刺激を用いた研究は，HI学会シンポジウム2016の対話発表において，優秀プレゼンテーション賞を受賞した[3]。

実演履歴提示を用いた手法
SZKITでは，マウスカーソル付近に，教員の実演操作に応じてインジケーターが表示される。これらインジケーターはマウスボタンやキーボードが押し下げられている間は表示され，離すと消える。これらのインジケーターにより，操作が行われたタイミングと押し下げ時間の長さをリアルタイムで提示できる。しかし，表示される操作のタイミングや押し下げ時間の長さを把握するには，SZKITで表示されるインジケーターを見逃さずに注視している必要がある。そこで，操作の邪魔にならない教示画面の空いている位置に，教員の実演操作の履歴を一定時間表示する手法を考案した。この手法であれば，進行についていけなかったり，見逃し等があった場合でも，実演の履歴をみることで，後から確認することが可能となる。この実演履歴手法を用い，Windows上で動作する教示支援ソフトウェアSZKISS（SynchloniZed Keyboard Indicator with Scrolling Sign）を開発した。SZKISSでは，キーボードやマウスボタンが押されたタイミングで，画面下部より棒状のインジケーターが出現し，画面上部に向かって移動を始める。押し下げられていた時間の分だけ，棒状のインジケーターが伸長される。キーボードやマウスの押し下げを解除した瞬間に棒状のインジケーターが途絶え，そのまま上にスクロールし，一定時間後に画面上部に到達し，順次消える。グラフィックスソフトウェア上で，SZKISSのインジケーターが表示されている状態を図3に示す。ソフトウェア開発後，筑波技術大学産業技術学部総合デザイン学科に所属する聴覚障害学生20名に対し，二重タスク試験，及びヒアリング調査と質問紙調査を実施した。SZKISSを用いた場合とSZKITTを用いた場合とを比較し，二重タスク試験の結果及び質問紙調査の結果から，SZCATの有効性を示した。

図3　SZKISSを用いてグラフィックスソフトウェアの操作を実演している様子
Figure 3　The screen a teacher demonstrates the operation of graphic software using SZKISS.

まとめ
過去の研究において明らかとなった情報保障の視覚への偏重問題に対し，本研究では新たに二つの手法を開発し，有効性を検証した。いずれの手法も個別に有効性を証明することができた。今後，筆者の担当する授業において，過去に開発したソフトウェアに代えて活用していく予定である。

参照文献
[1] 鈴木拓弥，聴覚障害学生にコンピュータ操作を教示する支援ツールSZKITの開発，電子情報通信学会技術研究報告，信学技法，vol.110(418), pp.25-30， 2011
[2] 鈴木拓弥，若月大輔，小林真，聴覚障害者にコンピュータ操作を視覚的に教示する支援ツールSZKITの効果．電子情報通信学会論文誌，情報・システムD, J97-D(1), pp.108-116, 2014.
[3] 鈴木拓弥，小林真，長嶋祐二，聴覚障害学生に対する実技演習を支援する触覚情報提示デバイスSZCAT，ヒューマンインタフェース学会シンポジウム2016, D-09, 2016.