多人数クラス環境での盲ろう学生への授業支援システムの構築と評価 大西淳児 筑波技術大学 保健科学部 情報システム学科 キーワード:特別支援教育，盲ろう者，情報保障，教育支援システム 1.はじめに 盲ろうは，視覚および聴覚障害の組み合わせに起因する感覚障害である。そのため，コミュニケーション，情報へのアクセスなどへの重大な障壁がある。そのため，主に触覚などを含むいくつかの異なるコミュニケーション方法を利用する。一方，コロナウィルスの爆発的な感染拡大により，様々なところで遠隔コミュニケーションの整備が急務となっている。特に，コミュニケーション手段の確保は，遠隔教育をしていく上で必要な基本的な条件となる。しかも，このコミュニケーションの流れは，1対1，多対1，1対多，多対多，および状況のさまざまな設定で発生する可能性がある。これらのさまざまなコミュニケーションを遠隔作業をするために，あらゆる人が利用できる遠隔コミュニケーションの手段を整備しなくてはならない状況となった。 盲ろう者の遠隔コミュニケーションを支援するシステムについて調査すると，すでに様々な方法が提案されている。たとえば，Ludovico Orlando Russoらは，ハンドトラッキングテクノロジーと3Dプリントされたバイオインスパイアードロボットアームを活用した触手話コミュニケーションロボットを開発している。この方法では，ウェブインタフェースを通じて複数の人触手話の会話をすることができるというものである。Rohitらは，ウェアラブルテクノロジーを活用して，盲人，聴覚障害者，dumbの人々の間のコミュケーションツールを提案している。このシステムは，通信回線を使った個人間の会話を成立させるもので，多人数とのコミュニケーションには向かない。また，このシステムを利用するには，各クライアントがモバイルの電話回線を必要とし，時間に応じた通信コストが発生する。このように様々な方法があるが，インクルージョンな環境でのコミュニケーションを確立するには様々な課題がある。そこで，この事業では，本学に所属する盲ろう学生の教育支援を踏まえて，健常者や健聴者とともに多人数の間で気軽に遠隔でコミュニケーションをとるためのシステムを開発する。 2.システム概要 開発するシステムは，会話入力を支援するWebベースチャット支援アプリケーション，盲ろう者への会話情報を点字で出力するシステム，および，これらを中継するサーバシステムの3つのコンポーネントで構成する。ここで，ベースとなるハードウェアは，超小型のスティックPC1台で実装し，このPCをベースとしてコミュニケーションをスター型接続のネットワークで接続する。各クライアントは，スティック型PCと同一のネットワークセグメントにVPNで接続し，通信に使うアドレスはローカルリンクアドレスを用いることとした。図1に全体の構成図を示しておく。 図 1 システム全体構成 （図） ここで，健聴者側が利用するデスクトップチャットシステムおよび盲ろう者が利用するモバイルデバイス上でのクライアントシステムを図2に示す。 図 2 デスクトップチャットおよび点字ログ出力制御システムソフトウェア （図） このシステムは，Extra製ブレイルセンスU2，Intel製Copute Stickで構成される。点字ディスプレイに表示するデータ生成は，スクリーンリーダーであるNVDAを利用した。開発した制御ソフトウェアでは，盲ろう者が必要なときに点字表示する制御および表示点字情報を中継サーバへ伝達する機能をもつ。中継サーバは，ウェブチャットと点字制御クライアントソフトウェアの通信および点字制御クライアントからモニタークライアントソフトウェアへの中継を行う。 モニタークライアントソフトウェアでは，盲ろう者がアクセスしているメッセージをリアルタイムで表示する。 このシステムでは，Webソケットによる通信環境をベースとして多人数との文字情報による会話伝達の仕組みを活用して会話を成立させる。 Webインタフェース上では，会話の入力においては音声入力に対応し，会話の出力は，画面での確認とともに音声による読み上げも可能である。このコンポーネントは，健聴者が利用し，盲ろう者は，発言する機能部分を利用する。発言する内容については，接続された点字ディスプレイで確認することができる。 図3にモバイルインタフェースで音声入力した場合の画面を示す。 図 3 モバイル音声チャットインタフェース （図） 音声入力の画面では，発話者を識別するための名前をセットした後，音声入力かキーボード入力によって発話をすることができる。ここで入力した発話は，別の発話者には図4上(デスクトップPCでのWebブラウザからの接続利用)のような形で表示される。このとき点字出力制御のクライアントソフトでは図4下のような状況となる。発話者が発話した内容は，発話者の名前をインデックスとして自動追加して送られるようになっており，全盲ろう学生にとって誰が発話した内容なのか確認できるようになっている。また，盲ろう者が読んでいるメッセージをリアルタイムで確認できるため，必然的に全盲ろう学生が把握しやすいように発話内容を工夫したり，発話するタイミングに配慮するなどのさまざまな配慮をごく自然に実施できるようになっている。この結果，このインタフェースによって，誰もが時系列に沿って発言をすることができ，複数の発言のコンフリクトすることを避けることができる。これらのシステムは点字ディスプレイアプリケーションを意外のサーバシステム処理部分のすべてをPythonで実装した。さまざまなプラットフォーム機能するようにした。 図 4 点字ディスプレイ制御ソフトの画面とそのときの点字ディスプレイの表示 （図） 3.まとめ この事業では，盲ろう学生とのコミュニケーションを簡易的に行うためのシステム開発した。現在では，このシステムをさらに改修し，遠隔教育用に仕様を変更して活用されている。新しいシステムでは，ウェブインタフェースを基本としたデザインに変更し，点字ディスプレイ上の表示状況をチャットシステム上に確認できるようにしている。(図5参照)このシステムを活用すれば，遠隔地の盲ろう者とさらに簡易的に会話をすることができるなど，さまざまな活用が期待できる。 図 5 遠隔地用コミュニケーションチャット画面 （図）