盲ろう者のための触覚フィードバックによる歌唱支援システムの改良

坂尻正次
筑波技術大学　保健科学部　情報システム学科

キーワード：触覚フィードバック，盲ろう，触覚ディスプレイ，歌唱

１．背景と目的
これまで筆者は科研費等の外部資金を活用し，盲ろう者・聴覚障害者の歌唱支援のための触覚フィードバックによる音程制御に関する研究をおこない，２次元触覚ディスプレイを用いた歌唱支援システムを開発し，その有効性を示してきた。昨年度においては，触覚ディスプレイ上で，通常のカラオケで音声ピッチを左右にスクロール表示する方式を参考に，同様の触覚呈示ができるようにシステムに改良を施した。また，触覚刺激呈示条件や歌唱時の音声ピッチ周波数を記録できる機能を付加した。このことにより，本システムを利用する盲ろう者等のユーザが自身の歌唱時の音声ピッチの変化を触覚により確認でき，さらに，歌唱後に音声ピッチ等の記録データを参照することができるようになった。一方で，1オクターブ以上の音域がある歌の歌唱時には算出される音声ピッチが1オクターブずれる場合があるという課題が示された。平成28年度の本研究課題では，上記の課題を解決するために，入力音声のフィルタ処理や音声ピッチ抽出の信号処理方式の見直しによる音声ピッチ抽出の正確性向上のための改良をおこなうことを目標とした。

２．成果の概要
本研究課題では，音声ピッチ抽出の正確性向上のための改良をおこなった。従来の音声ピッチ周波数決定処理はピッチ周波数範囲を事前に設定しておき，その設定に基づいてピッチ周波数を決定するためのフィルタリング処理をおこなっていたが，本開発においてはピッチ周波数決定処理の高度化を図るためにFFTケプストラムの手法による音声ピッチ抽出をおこなった。使用するプログラム言語はMicrosoftVisualC++で，OSはWindows7以降のOS（Windows7/8/8.1/10）に対応させた。また，プログラム開発環境はMicrosoftのVisualStudio2010以降で最新版のMicrosoft Visual Studio 2013にも対応させた。これらの改良の結果，音声ピッチ周波数抽出の正確性が向上し，本研究課題の目的が達成された。