聴覚障害児の環境音認知のために聴覚的記憶形成を支援するシステムに関する研究
平成30年度
筑波技術大学大学院技術科学研究科産業技術学専攻
加藤優
主指導教員 平賀瑠美 
副指導教員 若月大輔

  本研究は，聴覚障害者が効果的に環境音を学習できる視覚情報を提案することを目的とした。先行研究より，聴覚障害者が音楽に合わせた映像を用いてリズム学習を行うとリズム認知の成績が向上することがわかっている(松原ら.情報処理学会論文誌.2016,57(5),1-10)。また，聴覚障害者の周辺視野は優れており，視覚情報の収集量は健聴者より多いという報告もある(深間内ら.筑波技術大学テクノレポート,2007,14,177-180)。このような背景から，「環境音を聴覚情報だけでなく視覚情報を同時に提示することによって，聴覚障害者が環境音を効果的に学習できる」という仮説を立てた。国内外ともに，音に関する視覚情報を併用した環境音学習（以下，AV法と記す）についての報告はまだ見られていない。本研究では，視覚情報を併用した環境音学習について，聴覚障害者を対象に客観的および主観的に検討した。
　音圧（音の強さ）の時間波形を視覚情報として併用したAV法と音響情報のみの環境音学習（以下，A法と記す）を学習効果および学習しやすさについて予備的に調査した。実験参加者1名あたり2種類の環境音を用いてAV法とA法を比較すると，AV法の方が学習しやすい傾向がみられた。AV法の効果に期待できると判断したため，AV法とA法の間でそれぞれ学習効果を検証することにした。実験参加者1人あたり50種類以上の環境音を用い，A法とAV法それぞれ学習実験を実施した。その結果，A法とAV法のどちらでも学習すれば学習効果は高まり，それぞれの方法の間では統計的有意差が認められなかった。しかし，学習しやすさはAV法が優位であることが多くの聴覚障害者によって評価された。このことを，本仮説を支持する一つの結果とした。A法とAV法の間での学習効果の差が見られなかった理由として，AV法で用いる視覚情報を音圧の時間波形のみとすることでは学習効果を向上させるには不十分であると考察した。そこで，AV法の学習効果を向上させるために有効な視覚情報を追求することにした。
　より効果的な環境音学習のために，音圧の時間波形と環境音の音響特徴量を組み合わせた可視化を考えた。音圧の時間波形以外に環境音認知に有効な音響特徴量（バースト，周波数スペクトルの尖度）を組み合わせて可視化した映像を3種類作成し，聴覚障害者を対象に学習しやすさについて評価を行った。音圧の時間波形，バースト，周波数スペクトルの尖度をすべて実線で表現した視覚情報の評価が高かった。音圧の時間波形が見やすいことが理由であった。一方，この実験の参加者の多くから，音の高さの提示の希望があった。このことより，環境音学習の視覚情報は学習者である聴覚障害者の視点を尊重して作るべきではないかと考えた。このような知見を得て，学習者である聴覚障害者が普段環境音をどのように感じ取っているのかという点から見直す必要があると考えた。
　聴覚障害者に6種類の環境音（金槌で釘を打つ音，牛の鳴き声，踏切の音，車の走行音，水の泡の音）をきいてもらい，それぞれ環境音を聴取した時に頭の中で浮かんだイメージを紙に書いてもらった。その結果，多くの聴覚障害者は，金槌で釘を打つ音について角張った図形で，牛の鳴き声や踏切の音について丸みを帯びた図形で表現していた。このような特徴は，音の立ち上がり具合に関わっている可能性が考えられる。牛の鳴き声や踏切の音について図形の周りに破線を付加したイメージもあった。これは，音の立下り具合を表現している可能性が高い。これらのことから，聴覚障害者のための環境音学習に効果的だと思われる視覚情報の要素として，音圧，音高，音の立ち上がり具合，音の立下り具合が適当だと考えた。これらの要素に対応する音響特徴量は，ピッチとピッチセイリエンス(ピッチの確からしさ)，エンベロープのアタックスロープ（音圧波形の立ち上がりの傾き）およびリリーススロープ（立ち下がりの傾き）とした。
　上記4つの実験より得られた知見に基づき，環境音学習で併用する視覚情報を提案するために音響特徴量の抽出および可視化を行った。可視化した環境音の動画と環境音を同期させたものを聴覚障害者に提示し，提案した視覚情報が環境音を合っているかどうかについて，評価実験を行った。この視覚情報は以前のものより高い評価を得たが，各特徴量の表示の大きさ・位置・色彩など，表現方法を再考しなければならないことが分かった。　以上のことから，学習者である聴覚障害者の視点を尊重した視覚情報を作成し，環境音学習のための視覚情報を提案する段階に進めることができたと考える。今後は，本研究で得られた知見に基づき環境音学習のための視覚情報を完成させ，試作した視覚情報について，音との親和性に関する調査，ならびに環境音学習の効果について検討する。継続して，聴覚障害児が効果的に環境音を学習できるシステムの構築ならびに環境の整備に貢献していきたい。