聴覚障害学生向け実技演習における触刺激を用いたPC操作教示支援システムの開発と有効性の検証

鈴木拓弥
筑波技術大学　産業技術学部　総合デザイン学科

キーワード：Hearing-Impaired, Practical Lesson, Information Support, Visualization, Caption, Operation Logs, tactile

成果の概要
聴覚障害学生に対する授業では，聴覚の代行として主に視覚による支援が行われている。通常の講義では，教示内容をまとめた資料などを提示しながら，手話，口話，板書，書画カメラなどの視覚情報によって説明する手法が一般的である。しかし，実技演習時には講義の場合とは異なった問題が生じている。それは実演内容を画面で示しながら，同時に音声による補足的な説明を加えることが困難なことである。健聴学生を対象とした実技演習では，教員の実演と音声による補助説明の両方が同時に提供される。しかし，聴覚障害学生に対してこれらを同時に提供するのは困難であり，教員による実演と音声以外の手段での補助説明との間に，時間差が生じる。 著者はこの問題を解決するため，過去の研究において実演と補助説明とを同時に視覚化する手法として，教示支援ソフトウェアSZKITを開発し[1]，有効性を検証した[2]。SZKITは健聴者に対してであれば音声によって補助的に伝えられる内容を視覚情報に変換してリアルタイムで伝えている。そのため，聴覚障害学生は視覚に偏重して情報を受け取ることになる。結果として視覚から得られる情報が過多となり，見逃しなども発生しているのではないかと考えられた。そこでこれらの問題に対し，過去の研究において二つの手法を開発し，それぞれ有効性を検証した。一つは教示内容を言語情報に代わり伝達する手法として触刺激を用いる手法である[3]。もう一つは教員が行った実演の履歴を一定時間提示する手法である[4]。 触刺激を用いた過去の研究では，学生の手に教員の手を被せて教示するような効果を狙い，教員のマウス操作内容を学生に対して触覚で伝達するためのデバイス及びソフトウェアによるシステムSZCATを開発した。しかし，PC上で動作するアプリケーションの操作方法を教える実技演習では，マウス操作だけではなく，キーボード操作も組み合わせる必要がある。そこで，SZCATで開発したソレノイド振動素子を用いた触覚情報提示デバイスを応用し，Widows上で動作する制御プログラムを改良してマウスとキーボードのボタンの押し下げ状態を触刺激で伝達するシステムを開発し，SFOXSynchroniZed Focused Operation eXaggerator）と命名した。SZFOXの外観と各部の説明を図1に，SZFOXを指に装着してマウス操作を行っている様子を図2に示す。
図1　SZFOXの外観と各部の説明 Figure.1 Appearance and mechanism of SZFOX
図2　SZFOXを着用して操作を行っている様子 Figure.2 Image of operating a computer using SZFOX

デバイスと制御プログラムの開発後，筑波技術大学産業技術学部総合デザイン学科に所属する聴覚障害学生20名に対し，二重タスク試験，及びヒアリング調査と質問紙調査を実施した。SZKITのみを用いた場合と，SZKITにSZFOXを複合的に用いた場合とを比較し，二重タスク試験の結果及び質問紙調査の結果から，それぞれ有効性を検証した。二重タスク試験では，計算タスクと確認タスクの二つを平行して行った。計算タスクと確認タスクは画面の異なる位置に提示され，計算タスクを注視している状況で確認タスクを正しく認識できるかを検証した。二重タスクは実際の実技演習教示の際，SZKITの字幕を読みながら操作インジケーターを確認することを模擬している。計算タスクの正答率は，字幕の注視が行われているかどうかの指標や，振動を加えることによる計算結果への影響を計測する指標となる。従来の手法に対し，振動を複合的に加えたケースにおいて，もし計算タスクの正答率が向上した場合には，従来の手法にくらべ，振動によって計算タスクへの集中力向上効果があること，低下した場合には，逆の影響があることを示すことができると考えた。実験では，SZKITのみを用いた場合と特殊キーの押し下げ時に触覚情報を追加した場合のそれぞれにおいてタスクの達成度を計測し，その後質問紙調査を行った。

まとめ
SZKITのみにくらべ，SZFOXを複合的に用いた場合では，振動による正誤判定は不正確な場合があることが分かった。一方で，SZFOXを複合的に用いた場合では，視線移動量を大幅に減少させる効果が認められた。 
図3　実験時の画面例 Figure.3 An example of screen image during the experiment

また，質問紙調査の結果から，触覚情報提示の方法論の問題点や改善提案を得た。

参照文献
[1] 鈴木拓弥，聴覚障害学生にコンピュータ操作を教示する支援ツールSZKITの開発，電子情報通信学会技術研究報告，信学技法， vol.110(418), pp.25-30，2011
[2] 鈴木拓弥，若月大輔，小林真，聴覚障害者にコンピュータ操作を視覚的に教示する支援ツールSZKITの効果．電子情報通信学会論文誌，情報・システムD, J97-D(1), pp.108-116, 2014.
[3] 鈴木拓弥，小林真，長嶋祐二，聴覚障害学生向け実技演習を支援する触覚情報提示システムSZCATの効果に関する基礎的研究，電子情報通信学会論文誌， 情報・システム，J101-D(3), pp.560-568, 2018.
[4] 鈴木拓弥，長嶋祐二，聴覚障害学生向け実技演習における実技演習履歴提示ソフトウェアSZKISSの開発と有効性の検証，電子情報通信学会論文誌，情報・システム，J101-D(2), pp.359-368, 2018・