聴覚障害者の非言語音聴取向上に関する研究～オンラインによる音楽聴取の時間計測実験について～

平賀瑠美
筑波技術大学　産業技術学部　産業情報学科

要旨：我々は，聴覚障害者の非言語音（音楽，環境音）聴取を向上するためのトレーニングの構築を目指している。そこでは，様々な種類の音素材が使用されることになるが，適切な音素材の条件の一つは，音素材の音色が聴覚障害者にとって聴こえやすいことである。そのためには，どのような音色ならば聴こえやすいかを調査するための実験実施が必要である。高い時間精度が必要なため，実験は対面で行うことを想定していたが，COVID-19 感染拡大により，オンライン実験環境を作成した。オンライン実験においても，対面による実験と同様のデータを得られることを確認した。

キーワード：聴覚障害，非言語音，音楽トレーニング

１．はじめに
　補聴機器を装用する聴覚障害者の音声からの情報獲得は，補聴機器の性能向上により，言語聴覚の適切な訓練があれば新たな展開が期待できる。一方で，健聴者が耳にする環境音や音楽のような音声以外の音（以下非言語音と呼ぶ）を聴覚障害者が聴取することについては，音声ほど研究は行われていない。また，非言語音の聴取訓練が行われることは非常に少ない。環境音については，デバイスやソフトウェアによる認識が提案されたり，音楽を振動で楽しむためのデバイスが使われてはいる。しかし，非言語音を聴覚障害者自らが聴くことについて，聴覚障害者自身が希望することがあるにも関わらずその対応が活発に行われている状況とは言えない。
　音楽聴取を主体的に続けることが，健聴者，聴覚障害者いずれに対しても音楽認識に限らず言語獲得や音の理解に良い影響を与えるということはこれまでの研究で認められている。聴覚障害者が主体的に音楽に触れる機会を増し，非言語音聴取の力を向上させるために “ 楽しい ”トレーニングの提案と実用化を将来的な目的とする。
　聴覚障害者が補聴機器（補聴器，人工内耳）を使用して音楽を聴く場合，補聴機器の周波数分解能や各個人の聴取傾向のため，音楽を時間変化で楽しむことが多い，すなわち，音の時間変化を感じて楽しむことが多いと言われている。音楽トレーニングを行う場合は，トレーニングで使用する音楽を聴覚障害者が聴こえることが前提となるため，どのような音色が聴こえやすいのかを知る必要があり，その調査のために音楽データの作成が必要となった。
　本提案研究期間内では，トレーニングで用いる音素材――聴覚障害者が楽しんで聴くことができ，聴きとり理解する力を得ることができるようになる――を調べることを目的とする実験を行うことにした。これまでの類似実験では，0.1ミリ秒の時間分解能のある実験環境を作り，対面で実験を行った。しかし，COVID-19 感染拡大により，従来行っていた対面による音楽聴取実験ができない状況となったため，オンラインで同等の実験が可能であるかどうかを調査した。

２．音楽聴取実験
２．１　刺激の作成
　これまで，中原により，単一楽器で演奏した単一音高の聴きやすさの調査が行われた [1][2] が，実際の音楽は複数の楽器で演奏されることもあれば，ハーモニーやリズムが複雑になることが普通である。そこで，以下のように音楽データを作成した。
　1. 同じテーマの曲についてハーモニーとリズムそれぞれの難度を変えた 2 声の楽曲を作曲家に依頼して作成。
　2. 中原の結果に基づき，それぞれの声部を演奏する楽器音を選択。
　3. 1. で作成した楽曲を2. で選んだ楽器音で演奏したものを音楽データとする。
　
２．２　予備実験
　音楽が聴きやすければ「拍」（均等な時間間隔で生じる音楽の基本的リズムにおける時間単位）の認識も容易になる，という仮説に基づき実験環境を作成した（仮説は現在検証中である）。実験環境では，実験参加者が音楽データを聴きながら認識した拍をタッピングし，タッピングのタイミングを記録する。聴きにくければタッピングできなかったり，タッピングのタイミングが正確ではなくなる。
　このような実験環境をNeurobehavioral Systems 社のPresentationを用いて構築した。研究期間中に対面の実験が困難となったため，対面の実験を避けるために作成した実験環境をPresentation Mobile (PM)というスマートホン・タブレット上のアプリケーションで使えるように調整し，この実験環境をPM 上にアップロードした。
　実験参加者は PMを各自のスマートホンやタブレットにダウンロードし，そこから実験環境にアクセスして音楽を聴き，機器をタップする，という予備実験を2 名の参加者で行った。
　タッピングの結果は実験実施者がサーバからダウンロードしてこれまで行ってきた Presentationを用いた実験と同様に分析できることが分った。

４．今後の予定 
　対面の実験が難しくなったが，予備実験から対面と同等の実験を行うことが可能であると分ったので，実験を続け，聴覚障害者にとって聴きやすい音色を見つける。その後音響分析と組み合わせ，聴覚障害者の聴きやすさの要因となる音響特徴量を明らかにする。分析に基づき，トレーニングで使用する音データを作成する。

Timbre Perception by Deaf and Hard of Hearing People

HIRAGA Rumi
Department of Industrial Information, Faculty of Industrial Technology, Tsukuba University of Technology

Abstract: We are going to develop a music training in order for Deaf and Hard of Hearing people to increase recognition of non-verbal sounds. Though the training uses varieties of sound stimuli, selecting audible timbre is important to make the training effective. In this research, we conducted a feasibility test to find out the possibility of an online experiment with music stimuli. The feasibility test shows no problems in conducting the online experiment concerning time resolution.

Keywords: Deaf and Hard of Hearing, non-verbal sounds, music training