盲ろう者のための触覚フィードバックによる歌唱支援システムの開発

坂尻正次 筑波技術大学　保健科学部　情報システム学科
キーワード：触覚フィードバック，盲ろう，触覚ディスプレイ，歌唱

１．背景と目的
これまで申請者は科研費等の外部資金を活用し，盲ろう者・聴覚障害者の歌唱支援のための触覚フィードバックによる音程制御に関する研究をおこない，２次元触覚ディスプレイを用いた歌唱支援システムを開発し，その有効性を示してきた。また，昨年度においては，新規の触覚ディスプレイで触覚呈示をおこなうための開発をおこなった。開発の結果，従来の歌唱支援システム専用に開発された触覚ディスプレイでの触覚呈示と比較して，新規の触覚ディスプレイにいてもほぼ同等の触覚呈示の機能を示すことが示された。従来の歌唱支援システム専用の触覚ディスプレイは，16行×4列の触知ピンが22mm×10mmの領域に配置されている形状で，右人差し指の第1関節の腹の部分に触覚刺激を呈示するように設計されていたが，新規触覚ディスプレイは，32行48列の触知ピンが76mm×116mmの領域に配置されている市販の点図ディスプレイである。昨年度の開発では，従来の触覚ディスプレイと同等の機能を新規触覚ディスプレイで示すことができるようにすることを目標としていたために，新規触覚ディスプレイの呈示領域が従来の触覚ディスプレイと比較して大きくなっているという利点を活用していない状況であった。
本研究課題では，新規触覚ディスプレイにおいて呈示領域が大きくなった利点を活用するようにシステムに改良を施すことを目標とした。具体的には，通常のカラオケで音程を左右にスクロール表示する方式を参考に，新規触覚ディスプレイで同様の触覚呈示ができるように改良した。

２．成果の概要
本研究課題では，最近のカラオケの機能の一つとなっている音程を左右にスクロール表示する方式を参考に，新規触覚ディスプレイで同様の触覚呈示ができるように改良した。具体的には，スクロール機能を付加した上で，さらに音声ピッチ周波数決定前のフィルタリング処理機能の付加や，歌唱時のデータ記録機能の追加もおこなった。図1に改良した歌唱支援システムのPCの実行画面を，図2に触覚ディスプレイの実行画面を示した。なお，図1及び図2はPCのモニタ画面と触覚ディスプレイに上に同時に表示されたものである。本研究課題の結果，速度可変のスクロール機能が付加された。また，フィルタリング処理機能によりあらかじめ設定した周波数範囲でピッチ抽出がおこなわれるようになった。さらに，歌唱時のデータ記録機能も追加されたために，詳細に記録された歌唱データを参照することにより，訓練の状況を詳細に把握・分析することが可能となった。
図1　改良した歌唱支援システムのPCの実行画面
図2　改良した歌唱支援システムの触覚ディスプレイの実行画面

３．成果の学会発表
本研究における成果の学会発表等は次のようになる。Sakajiri M, Miyoshi S, Onishi J, Ono T, Ifukube T. Singing Accuracy of Hearing Persons Using a Tactile Voice Pitch Feedback System. NTUT Education of Disabilities. 2016; 14: 13-16.
坂尻正次, 三好茂樹, 大西淳児, 小野束, 伊福部達：盲ろう者のための触覚フィードバックによる音声ピッチ制御システムの歌唱の正確性；LIFE2015（第15回日本生活支援工学会大会, 福祉工学シンポジウム2015, 第31回ライフサポート学会大会の共同開催）；2015-9-9（福岡市）