聴覚障害児のための環境音学習システム─ 試作と今後の展望 ─ 平賀瑠美1），加藤 優，松原正樹2），寺澤洋子2），田原 敬3） 筑波技術大学　産業技術学部1）　筑波大学　図書館情報メディア系2）茨城大学　教育学部3） 要旨：補聴器や人工内耳を活用している聴覚障害児を対象にし，環境音学習システムを作成した。本システムで使用される環境音は聴覚障害者の協力により決定されたものであり，聴覚障害児にとって「覚えたほうがいい」必要な環境音である。それらの環境音をきいて当てる学習とともに環境音の発生する背景や状況を把握するコンテクスト理解の学習を支援する。小学校の難聴学級ならびに聾学校小学部で小学生に本システムを使用してもらう実験により，使い方や有効性, 改善すべき点を調べた。タブレットを用いて一人でも楽しんで学習ができる環境づくりの第一歩として，本システムの概要と，実験，結果，考察，今後の展開を報告する。 キーワード：環境音，コンテクスト理解，聴覚障害児，学習システム １．はじめに 聴覚障害をもつ当事者として,同じ聴覚障害をもつ友人とききまちがいの経験を話すことがある。筑波技術大学産業技術学部（学生は全員聴覚障害をもつ）の学生70人に対し行った環境音に関するアンケートでも，ききまちがいの経験が少なからずある，ということが判明した。さらに筆者は幼少時代に，車とヘリコプターを間違えて覚えてしまい，後ろから車がきても気付かないという危ない経験があった。これも聴覚障害をもつ友人たちは同感している。聴覚障害や手話とこれまで関わってこなかった健聴者が筆者と知り合ってから，「人は音で生きている」と改めて実感したといった。道を歩いていると後ろから通り過ぎる自転車を3秒前に気づく健聴者と，通り過ぎてから初めて自転車の存在を知る聴覚障害者がいる。木村[1]は以下のことを述べた。「環境音など日常生活の指導の中では学習が難しい音を，場を設定して学習する機会が必要であると考えられる。一旦系統的な聴覚学習により聴覚的記憶が形成されれば，日常の雑音があったり音量が足りなかったりする場面でも，環境音の聴きとりは可能になり，日常での生活の中で学習を行うことが可能になるものと思われる。」また，田原[2]は，「難聴者が自分の周囲の環境に耳を傾け，自分が置かれている状況を理解したり，危険を回避したり，さらには季節の変化を告げるような音を聴取して趣を感じるといったことも可能になるかもしれない」 と述べた。我々は，音と関連した状況や季節の変化を音のコンテクストと呼び，音そのものの理解とともに，コンテクスト理解も重要であると考える。よって，我々が提案するシステムは，環境音をきいて当てる学習とコンテクスト理解の学習を支援するものとし，充実した環境音学習を目指す。本報告では，音の正誤とコンテクスト理解の問題が搭載されたアプリケーション「周りの音くん」について，それを用いた実験と考察を行う。また，それらを通し，今後の展開を記す。 ２．環境音学習システム「周りの音くん」 「周りの音くん」は，聴覚障害児（補聴器・人工内耳を活用している子どもたち）を対象にし，きくことによって環境にかかわる情報を得る力を身につけるための教材である。音がきこえたら何の音なのかを知り，さらにその音に対してどうアクション・感情を起こすかを問うことで状況判断（コンテクスト理解）に生かせることがこのシステムの特徴である。２．１　本システムで使用した環境音本システムで使用した環境音の選択は，聴覚障害をもつ大学生70人の協力を得てアンケート調査を行った結果である。まず，我々が日常生活で耳にすることの多い環境音28 種類を選び，それらの環境音とそれぞれの環境音に対しての感情やアクションをリストアップした。そのリストを配り，聴覚障害児が覚えたほうがいい，この音は必要だと思うのであれば，項目ごとの「覚えたほうがいい」にチェックをする，なければ，そのまま次に進みチェックを依頼するという形のアンケートを行った。回収率は，51％だった。アンケートの集計をし，「覚えた方がいい」のチェック数が半数以上だった環境音は本システムで使用する。さらに，我々が提案した環境音のほかに必要な音があれば意見をもらったものもある。意見を出した学生の半数以上であれば，その環境音を採用した。この場合でも，コンテクストの案も書いてもらった。その結果，本システムで使われる環境音の種類を21とした。その21種類の環境音のリストを，表1に示す。 表1　使用した環境音 【家】 1お皿あらい2野菜を切っている音3掃除機4洗濯機5トイレの流す音6お風呂が沸いた音7お湯が沸いた音8電話 【屋外】 9車の走行音10ヘリコプター11バイク12パトカー13救急車14消防車15自転車16雷17風雨18踏切 【学校】 19階段20チャイム21机と椅子を引きずる音 佐々木の報告[3]では，環境音の識別を行う研究におけるアンケート調査では，聴覚障害者が得たい音情報の多くのものは屋外できかれるものである，としている。要望事項で多くの聴覚障害者が書いた，緊急警報音，特に緊急車両(救急車，消防車，警察車両)のサイレンの音，踏切の警報音を佐々木のシステムでは識別対象とした。佐々木のアンケートにあったように，本アンケートでも，救急車，パトカー，消防車，踏切といったサイレン系の環境音は「覚えた方がいい」のチェック数が非常に多かった。しかし学校で発する環境音は，「覚えた方がいい」学校の環境音に一致するものが非常に少なかった。インタビュー によると，育った環境によって種類や経験が異なるということが大きな原因だった。 ３．環境音学習システム ３．１　システム開発本システムは，Android4.2以上で動作する。また，以下の開発環境を用いた。　　　　　　　OS ： Windows 7　　 統合開発環境 ： Eclipse 4.4LUNA　　　　　　　　　（ADT v23を用いる）　　　　　　 言語 ： Java SE 7u6　　　出力デバイス： Android 4タブレット ３．２　ユーザインタフェース図1にシステムの開始画面を示す。開始画面の3つのボタンの一つを選ぶと家・学校・屋外の画面に切り替わる。図2に「おうち」を選択した場合の画面を示す。ここで「音リスト」と「音当てチャレンジ問題」のうちから一つを選択して進める。 図1　メインスクリーン 図1　メニュー選択画面 「周りの音くん」には使用方法が2通りあり，「音リスト」のコースと「音当てチャレンジ問題」のコースである。共通して，最後はおさらいの画面になる。おさらいでは，再度指定の音をききながら示されたコンテクスト理解の文章を読んでもらう形である。この流れを可視化したのが，図3である。本研究では，音をきくことからコンテクスト理解の問題までの 一連の流れを「セッション」としている。コンテクスト理解の問題では，ふさわしいアクションや感情は必ず1つという固まった理解をしないように「3択のうち2つが正解」という設定をした。例として，図４にインターホンのコンテクスト理解の問題を示す。 図1　コンテクスト理解の問題 ４．評価実験 聴覚障害を持つ児童に実際に本システムを使ってもらい，使い方や音・コンテクストの理解の様子を調べた。第1回目は小学校の難聴教室に在学の小学生5名（A，B，C，D，E）で，第2回目は聾学校に在学の小学生4名（F，J，K，L）に対して環境音学習システム「周りの音くん」の使用実験を行った。A～Lについては，男児が6人，女児が3人，聴力は全員90db以上であった。小１は2人，小3が2人，小4が2人，小5が2人，小6が1人だった。実験では，まず，システムの使い方の説明をした後に，１回練習を行い，その後，指定の時間中，被験者に自由に使ってもらった。使用はログにより記録が残る。また，使用後に簡単なアンケートに答えてもらった。 ４．１　結果４．１．１　アンケート　以下にアンケート項目と回答を記す。 ・「本アプリでいろんな音をきいたことで，周りの音に理解が深まりましたか？」の項目は，8人が「はい」と答えた。・ 「あなたが今まで知りたいと思っていた音が入っていましたか？」の項目では，たくさんが3人，半分が3人，あまりなかったが3人であった。 ・「本アプリは役に立ちましたか？」，「これからも，ひとりで周りの音を学んでいきたいと思いますか？」の項目は，全員が「はい」と答えた。 ４．１．２　ログ表2は9名の被験者が取り組んだセッションについて示したものである。A，B，C，D，Eは15分間使用の場合，平均15.6個の環境音を1セッション当たり32.56秒で学習ができた（最短12秒，最長102秒）。F，J，K，L は10分間使用の場合，平均14.5個の環境音を1セッション当たり27.9秒で学習ができた（最短15秒，最長60秒）。（1）リストと音当てチャレンジ問題への取り組みログを解析すると，リストを多用したグループとチャレンジ問題に挑戦したグループが分かれた。前者は，D，E，Lで，後者はA，B，C，F，J，Kである。（2）音当てチャレンジ問題本実験でのききまちがい（ききまちがいの数/チャレンジ問題の数）は，B（1/6），C（1/2），D（2/4），J（5/17），K（3/14），L（1/16）の6人だった。（3）コンテクスト理解の問題コンテクスト理解を間違えたのが8人で1人当たり1～4回だった。1回も間違えなかったのは1人だけであった。（4）環境音の使用今回はすべての音が使われていた。そのなか，小学生が好んで選んだ音は，学校のカテゴリーでチャイム，階段だった。 表2　セッションについて ５．考察 ５．１　自分の聴力で挑戦し学びたい意欲（1）により，前者のD，E，Lのログには，同じカテゴリーを続けていた行動があった。似たような音（ヘリコプター－バイク，雷－風雨，掃除機－お湯が沸いた音－洗濯機－揚げ物）をきき比べたり，興味のある音を選択していたり，または初めて見るコンテクスト理解の問題を挑戦したかったのだろうという印象も受けた。後者のA，B，C，F，J，Kのログには，音リストとチャレンジ問題の行き来が目立っていた。その 様子は，ゲーム感覚で楽しんでいるという印象を受けた。またチャレンジ問題から出る音に対して，音のイメージを手話で表しながら頭の中で経験を探していた様子があった。その子なりの学習方法で音の経験を重ねていけば，子どもたちにとってよい刺激になると考えた。 ５．２　ききまちがいがある事実湯野[4]の報告では，弁別課題において正答率が低かったものは，「風雨－車の走行音」，「雷－車の走行音」の組み合わせだったとあった。湯野の報告にあったように，（2）より2人が風雨と車の走行音をきき間違えた。さらに，Jは，対象者のなかで最もききまちがいをした。直接に観察したが，読むのが早く，カチカチとすぐボタンを押したがっていた様子であった。音の興味を示す様子ではなかった。そのようなケースの子もいることで，きくだけでは音の興味をもたないと分かった。振動や光や何らかで音の刺激を受けつつ環境音学習ができるような方法を検討していく。 ５．３　コンテクスト理解の必要性これまで，環境音の正誤のあとにコンテクスト理解の学習はなかったそうだ。（3）により，風雨のコンテクスト理解に誤った子が4人いた。このききまちがいの原因として，育った環境の中で少ない経験であり，あまり学ぶことのない風雨のコンテクストだったのではと考えられる。Aは，同じ過ちを繰り返していた。正解が二つあるなか一つ選ぶ方法は彼にとって悩むことだったようである。そのことからコンテクスト理解の問題を解く方法をさらに工夫しなければならない課題だと思う。そして経験に基づく理解が多いためであろう，インターホンや階段，トイレ，救急車，洗濯機のコンテクスト理解の間違いがあった。このことは，普段からの行動が現れているのだろうと解釈する。 ６．まとめ 環境音学習システムの実用化に向けて，アンケートや実装，実験を行った。本システムの特徴であるコンテクスト理解の問題の提示方法・選択方法にさらなる工夫が必要に なる点が課題となった。さらに，自分が選んだ選択肢が間違いだったときに記憶に残るようなフィードバックが重要なポイントとなることも判明した。使用した小学生にアンケートを答えてもらったなか，本システムは好評だった。コンテクスト理解の問題には真剣に取り組んでいて，今後も使いたいという要望が寄せられた。木村[1]の報告でも，パソコンでの聴覚学習では自分で機器の操作をし，選択したことに対して反応が返ってくる相互性が楽しくて，自分から操作して聴こうとする傾聴態度を養うことができるためなのではないだろうかとあった。本システムにも，音の正誤やコンテクスト理解の問題にもこういった効果があると考える。しかし，本システムで学習後に，音の理解を一般化できるかどうかについても調査が必要と考える。仮説の段階だが，音の理解の一般化は音をきく経験が多ければ多いほど可能になるものだと考えている。今回の研究に基づき，「聴覚的記憶の形成」を手助けするシステムとして，画面上での視覚的情報によって音の特徴（子どもたちが見てわかるような，音の可視化など）をつかむ方法を検討している。その「目で見る環境音の特徴」というシステムが構築できれば，環境音学習システムと併用したい。その効果が聴力の重い子どもにもそれぞれの環境音の特徴を知ることによって，その人なり環境音の受け入れ方ができると考える。 参照文献[1]木村淳子，中川辰雄．聴覚障害幼児に対するパーソナルコンピュータを用いた聴覚学習．横浜国立大学教育人間科学部紀要．I. 2009-02; 11.89－107.[2]田原敬，原島恒夫，小林優子，堅田明義．難聴者の環境音認知に関する研究の展望．2012;36.187－196.[3]佐々木岳志，竹口智男，大橋美奈子．重度難聴者に対する支援システムの研究―聴覚的情景分析を用いた生活必要音の識別―．福祉工学シンポジウム講演論文集, 2003;3,1－4.[4]湯野悠希，松原正樹，寺澤洋子，他．聴覚障害者を対象とする環境音聴取テスト作成に向けた弁別と同程に関する比較検討．日本音響学会春季研究発表会;2016． A Learning System for Deaf and Hard-of-Hearing Children— Prototype and Future Plans — HIRAGA Rumi1), KATO Yuu, MATSUBARA Masaki2), TERASAWA Hiroko2), TABARU Kei3) 1)Department of Industrial Information, Faculty of Industrial Technology,Tsukuba University of Technology 2)Faculty of Library, Information and Media Science, University of Tsukuba3)College of Education, Ibaraki University Abstract: We developed a system for deaf and hard-of-hearing children that allows them to understand environmental sounds (ES) and their contexts. The ES used in this system were determined by 70 people suffering from hearing impairments, and they are considered necessary for deaf and hard-of-hearing children to understand. Our system supports the learning of ES and their contexts, such as their backgrounds and how they are created. We have examined the system’s usability, effectiveness, and issues in tests with children with hearing impairments. We describe an overview of the system, the experiment, its results, engage in a discussion, and suggest methods for its future deployment. We consider this to be the first step in establishing a means of enjoyably learning environmental sounds using a tablet. Keywords: Environmental sound, Context understanding, Deaf and hard-of-hearing children, Learning system