触覚フィードバックによる歌唱支援システムの 新規触覚ディスプレイ対応のための開発研究 筑波技術大学 保健科学部 情報システム学科 坂尻正次 キーワード:触覚フィードバック,盲ろう,触覚ディスプレイ,歌唱 1.背景と目的  これまで申請者は科研費等の外部資金を活用し,盲ろう者のコミュニケーション支援のための触覚刺激に よる韻律情報呈示方式について研究した。さらにその成果をもとに盲ろう者・聴覚障害者の歌唱支援のた めの触覚フィードバックによる音程制御に関する研究をおこない2次元触覚ディスプレイを用いた歌唱支援 システムを開発し,その有効性を示してきた。  従来の歌唱支援システムの触覚ディスプレイは図1に示すものであった。 16行×4列の触知ピンが22mm X10mmの領域に配置されている。この触覚ディスプレイは,歌唱支援システム専用に2008年に開発され, 非常に優れたものであるが,現在,製作した企業が存在していないため修理や追加の生産ができない状態で ある。このように別の触覚ディスプレイの利用を検討する必要がある状況となっている。  本研究課題の目的は,図2に示した市販の点図ディスプレイ(ドットビュー2 : KGS 社)を歌唱支援シス テムの触覚ディスプレイとして用いるためのシステム開発をお二なう二とてある。 2. 成果の概要  従来は,図1に示した振動呈示型の触覚ディスプレイを用いていた。二の触覚ディスプレイは右人差し指 1本で目標音程と自分が発声した際の音程を知覚することができる。図2で示した本開発で用いたディスプ レイは,もともと点図を呈示するための触覚ディスプレイなので図1のディスプレイのような振動刺激 (200Hz)は発生しない。一方,図2のディスプレイは,32×48=1,536ドットの触知ピンが2.4mmピッチで配置 されている。解像度は図1のディスプレイの方が高いが,表示ドット数は図2のディスプレイの方が大きい ので,横軸を時間として発声時の音程の変化の軌跡をディスプレイ上に呈示できるなど,図2のディスプレ イを用いた場合にはこれまでにない新たな触覚呈示方式を採用できる利点がある。 図1 触覚ディスプレイ 図2 本開発で用いた触覚ディスプレイ 図3 新規触覚ディスプレイ対応後の音声ピッチ制御システムの実行画面の例  使用するプログラム言語はMicrosoft VisualC++で,0SはWindows7 以降のOSに対応させた。また,プロ グラム開発環境はMicrosoftVisualStudio2010 以降に対応させる仕様とした。  触覚ディスプレイへの呈示方法は次のようになる。触覚ディスプレイの触知ピンの配列は32行42列なので, 横方向をX,縦方向をyと定義し,左下を座標(1,1)とすると右上の座標は(48,32)となる。縦方向の1ドット は半音に対応させる。音階はデフォルトでは図3示したように設定する。  基準音程は左から1, 2列目に表示する。 do(C3),do(C4),do(C5)の行の部分を凸とする。 目標音階は, 4,5列目とする。図3ではdo(C3)の部分が目標音階に設定されている。  マイク入力された音声から計算したユーザーの音程は6列目以降にスクロールさせながら表示する。デフ ォルトでは1秒間に4列スクロールさせる。1秒間に1列から, 1秒間に10列までの値を設定できるようにす る。音声が入力されていない部分は何も表示されないことになる。図3は,目標音程をdO(C3)に設定して歌 唱した例である。 3. 成果の学会発表  本研究における成果の学会発表等は次のようになる。 Sakajiri M, Miyoshi S, Onishi J, Ono T, Ifukube T. Tactile pitch feedback system for deafblind or hearing impaired persons -Singing accuracy of hearing persons under conditions of added noise-. Proceedings of the 2014 IEEE Symposium Series on Computational Intelligence. 2014: 31-35. (査読有)