環境音可視化に関する研究

平賀瑠美1），加藤 優2），若月大輔1），安啓一1）
筑波技術大学　産業技術学部　産業情報学科1），技術科学研究科産業技術学専攻2）

キーワード：環境音，聴覚障害，可視化，音響特徴量

概要：聴覚障害を持つ小学生が残存聴力と視覚情報を用いて環境音学習を進められるシステムの構築を目標として，視覚情報が環境音学習に有効かどうかの確認ならびに適切な視覚情報の検討を行った。

１．はじめに
環境音は危険な状況の察知を可能にしたり，季節を感じることができたりするための情報を持つ。一方で，聴覚障害をもつ児童生徒の音の学習は，音声理解や発話を専らとしており，非言語音，特に環境音について学習は，聾学校，特別支援学校，普通学校の難聴者のための通級教室であまり行われてこなかった。本研究は，研究分担者である聴覚障害を持つ当事者が，学習により環境音を聴き分けられるようになりたい，という希望を持ち，聴覚障害者の視点から以前開発した環境音学習システムがより多くの聴覚障害を持つ児童に活用されるため，環境音の視覚情報を取り入れたシステムとして作成することを目標とした。

2. 研究方法
この目標のために，研究開始時に基礎的事項の確認を行った。実際には，障害の程度が重い聴覚障害者を実験参加者として環境音同定実験に引き続き，以下の実験を行った。1）同定できなかった環境音を音のみ（V法），音と音圧の波形（AV法）で学習し，どちらが学習しやすいかを調査した[1][2][3]。環境音学習のしやすさについて，学習前後で環境音を認識するための最小可聴音圧，学習時間の測定，ならびに主観評価を行った。2）環境音同定に関係があるとされる音響特徴量を短時間における音圧の急激な変化（バースト），周波数の4次統計量（尖度），ならびに音圧の波形を用いた環境音可視化を行い，どのような視覚情報が学習に望ましいかを調査した[4]。バースト，尖度，音圧の波形を組み合わせて3種類の動画像を音と共に提示した。

3．結果
上記1）の実験では，A法とAV法の最小可聴音圧と学習時間に関し有意差はなかった。実験参加者数の少なさ（4名）と用いた視覚情報が音圧の波形のみであったことの影響も考えられる。しかし，主観評価では，AV法に対する好意的意見が見られた。2）の実験では，バーストと尖度の値を色相に対応させる，または，値の変化を折れ線として表すことで画像を作成したもののうち3つの音響特徴量を見やすく表した画像の評価が高かった。児童を対象とするシステムには，具体的であったり，可愛らしさを表す画像が良いのではないか，という意見も得られた。

4．まとめ
聴覚障害者の環境音学習について，認知的実験，音響分析，画像生成という多面的な研究を進めた。児童が使用する環境音学習システムの構築のため，音響特徴量に基づく可視化以外に，拡張現実感なども視野に入れデザインを進めていく予定である。

参照文献
[1] 加藤，平賀，若月，松原，寺澤：聴覚障害者のための視覚情報を併用した環境音学習の基礎的検討，IPSJ 2017-AAC-4-2, 2017.
[2] 加藤，平賀，若月，安：環境音学習における視覚情報の有効性についての検討―重度の聴覚障害者を対象とする場合―，日本音響学会研究発表会，1-3-5, 2018．
[3] Kato, Y., Hiraga, R., Wakatsuki, D., and Yasu, K.: A preliminary observation on the effect of visual information in learning environmental sounds for deaf and hard of hearing people, ICCHP, LNCS vol.10896, 183-186, July 2018.
[4] 加藤，平賀，若月，安：聴覚障害児を対象とした環境音学習のための音響特徴量の可視化に関する基礎的研究，IPSJ 2018-AAC-6-1, 2018.