筆位置を音で確認できる視覚障碍者のための音響ペンの提案

巽 久行1），村井保之2），関田 巌1），宮川正弘1）
筑波技術大学　保健科学部　情報システム学科1）日本薬科大学　薬学部　医療ビジネス薬科学科2）

要旨：視覚障碍者がペンを使って字を書くのは難しい。単純に見えないからという理由だけでなく，ペン先の移動と筆跡（言い換えれば，軌跡）が分からないからである。本研究は，ペンの移動が音で分かるような，視覚障碍者のための音響ペンを提案している。ペンの移動方向（即ち，方向ベクトルやストローク）を音や音色で確認しながら書くことで，簡単な表記，平仮名文字や複雑でない漢字等ならば，筆記訓練次第では，これまでよりも短時間で上手に，可読しやすい字を書くことができる。最終的に本研究は，視覚障碍者のための簡易書画訓練シミュレータとしての利用を目標としている。
キーワード：視覚障碍，音響ペン，ペン先位置追跡，筆跡の把握，筆記訓練 

１．はじめに
視覚障碍者が字を書くのは容易ではない。字の形を知らないという理由だけでなく，書いた字の跡が掴めないからである。書字経験のある中途失明者は筆移動を身体で覚えているので，簡単な文字は書くことができる。先天盲者は名前を（漢字は無理でも平仮名で）書けるように訓練されることが多いが，紙の上にペンを使って自由に墨字を書きたいと願う人は多い。通常，墨字訓練は手のひら（筆移動が肌で感じる）やレーズライタ（線が盛り上がる特殊な紙で筆移動が触知できる）が使われる。レーズライタに書かれた字は消せないので（傷のような状態），ピンディスプレイ（ピンの上下運動で凸画を表示）で何度も書ける電子レーズライタが開発された[1]。
欧米の全盲者には墨字を書ける人が多い。その理由は，ラテン文字はストロークが離れることがないので（一筆書き状態），筆移動が掴みやすいからである（日本語は複雑な漢字だけでなく簡単な平仮名でもストロークが離れる）。本研究は，筆の移動が音で分かるような視覚障碍者のための音響ペンを提案する[2]。音色で筆の移動方向（ベクトル）を確認しながら書くことで，簡単な表記や平仮名文字ならば，これまでよりも短時間で上手に，人も機械も可読できる筆記を行うことができる。また，このペンは全盲者の書画訓練用シミュレータとしても利用できる。本報告は音響ペンの提案であり，どの程度の音色の違いで筆移動を制御できるかは研究を進めないと分からないが，PC上のカーソル移動実験では，音色の違いによる位置同定や上下左右の距離感覚も，問題なく処理できることを確認した。

２．システムの概要
我々は音響ペンを，PC音源（General MIDI）と電子ペン（例えば，Pentel社のAirpen [3]）で構成することを考えている。本報告で提案する音響ペンとは，電子ペンの筆位置情報をもとに，PC音源で筆位置感を音響で疑似生成し，それを骨伝導ヘッドホンで聞くものである（耳の近くの骨を振動させて音を聞くので，鼓膜で聞く他者の声や周囲の音などと同時に聞くことができる）。図1に，システムの構成を示す。電子ペンについては既に著者等の研究で使用しており[4]，本報告でも音響ペンの筆位置測定に電子ペンで使われている赤外線・超音波法（図2参照）を利用する。
図2において，筆位置が黒点P（x, y）にあるとする。ペン先から発信される赤外線と超音波 の2種類の信号到達時間の差で距離T1とT2（図中の赤点線）が推測できるので，三角法より位置が計算できる。即ち，同図内において，
図1　システム構成
受信機の中央が赤外線センサ（赤と略記）の受信部，両端が超音波センサ（超と略記）の受信部である。筆圧がかかると電子ペンのスイッチが入って，ペン先から赤外線と超音波の2種類の信号が発信される。光速の赤外線を受信したら，両端の超音波センサを起動して，超音波の到達時間を測定する。両端の超音波センサまでの距離（図中のT1，T2）は，到達時間×音速 で計算できるので，筆位置P（x, y）は超音波センサ間の長さを2w（赤点間の距離で約6cm）とすると，
数式1を解けばよい。赤外線・超音波法は，ソフトウエア開発用SDK（β版はペガサステクノロジーズ社が公開[5]，但し，現在は非公開）を用いると簡単にプログラム開発ができる。本研究では，Windowsの .NET SDK のサンプルをもとにC#言語で開発している。基本的な電子ペンの操作はすべて，コンポーネント（pegasusPen）をフォームに貼り付けることで行える。例えば，筆位置P（x, y）の座標値は簡単に得られる（引数 Pegasus.Library.PenEventArgs e のe.Locationの値）。
図2　赤外線・超音波法

３．筆位置の定位感
聴き手が，音源がどの位置にあるように感じるかということを定位感と呼ぶ。例えば図3において，聴き手の前方右45度に仮想的音源（音響ペンの筆位置）があるとして，黒点P（x, y）が筆位置，オレンジ円が聴き手の頭部（両端の青点は耳で，両耳間は約20cm），青点線は直接音の経路とする。ここで，聴き手の頭部中心O（両耳間の中点）と筆位置Pとの距離を50cm（黒点の座標は　　　　　　　　）P(50/2,50/2)とすると，音速を340m/sとして，筆位置から左耳までの距離S1は57.5cm（到達時間は約1.69ms），右耳までの距離S2は43.5cm（到達時間は1.28ms）である。また，聴き手の頭部中心に届く音量（音は1kHzのサイン波）と比べたときの，左右の耳に聞こえる音量（音圧：単位はデシベルSPL）は，左耳が-1.22dbで右耳が+1.21db，その差は2.43dbとなる。一般に，音量の差は距離が近いほど大きくなる。音の性質を決める要因は，大きさ（音量），高さ（周波数），音色（周波数成分）である。よって，聴き手から音響ペンまでの遠近距離の定位感は，音量の大小差を採用する。また，我々は既に，PC上のカーソル移動とBeep音の周波数変化（時間は任意に設定）についての定位感テストを行っている。即ち，音の高さに対する位置同定テストである。図４において，左端のスクロールバーは周波数域の値設定（Beep関数の最小値：37Hz～テスト用上限値：12,000Hz）で，各グリッド（10×10）は，右方向移動で20Hz増加，下方向移動で200Hz増加する。例えば，左上隅（No.0）が300Hz，右下隅（No.99）が2,280Hzというような１次元配列になっている。実験は，周波数を聞いてグリッドを同定することや，周波数の変化を聞いてカーソル移動を推定するなどで，正しく識別することを確認した。
図3　音源の定位感
図4 　周波数変化に対する位置同定

以上より，図5のような音響ペンの定位感マップ（但し，これは案である）を仮定して，現在，プログラミングと実験を行っている。同図において，音量は頭部からの距離で変化させ（但し，変化量が線形か非線形かは考察中である），周波数は前方左右方向で変化させ（但し，音量と同様に変化量は考察中である），周波数成分は前方上下方向で次数を変化させる（但し，倍音の次数や含有率は考察中であり，また，倍音が基音の厳密な整数倍でない方が聞きやすいことや揺らぎの付加も考察中である）。視覚障碍者に物の位置を示す場合，クロックポジション（時計の針位置）で方向を説明する。我々は既に，音によるクロックポジション誘導の研究を行ったが[6]，その際の方向指示は30度単位（時計針数字）であった。離散的な音による方向識別能力は物と手との間の距離や手の移動速度に依存するが，その識別限界は約15度程度である。本研究の音響ペンは連続的な音色であり，一般的に筆記は複雑な軌跡を描くので（曲がり，はね，そり，等），音色を構成する音量や周波数の設定は注意する必要がある。
図5　音響ペンの定位感マップ（案）

４．筆位置の検出実験
電子ペンでは，高速で精度の高い筆位置測定や運筆中のペン先位置の取得ができないので，動作追跡用の高性能CCDカラーカメラ（毎秒90フレーム）を2台使用して，図6に示すような，ペン先に貼付した赤色マーカーを認識する光学的手法を用いて，筆先位置の検出実験を行った。実験方法は，空間内で基準となる立方体の端点（図6内の青色立方体の8個の点，今回の実験では各辺の長さは30cm）を前もって測定（基準空間のキャリブレーション）しておき，この基準空間内のXZ平面上に用紙を置いて，視覚障碍の被験者（全盲者，もしくは，アイマスクをした弱視者）に平仮名文字の“あ”を書いてもらい，そのペン先のマーカー位置を取得した。また，被験者の両耳位置も同時に計測し，両耳間の頭部中央（図6内の橙色の点）とペン先位置（図6内の赤色の点）を取得することにより，定位感を持つ仮想的な疑似音響の生成をPC音源で行っている。表１は，筆先位置を測定した結果の例である。測定データは，
図6　光学的手法による筆位置検出実験
図7　筆位置の描画例（平仮名文字“あ”）
表1　筆位置結果の例（平仮名文字“あ”）
取得フレームの生成番号（シーン番号と呼ぶ），シーン毎の経過時間（使用したカメラは毎秒90フレームなので各シーン間は0.011秒），ペン先の空間座標（x, y, z），一つ前の座標から現在の座標までの移動距離，そのときの速度および加速度である。表１のデータから描画した結果（マーカーの追跡位置は連続ベクトルで計算，即ち，疑似音響の生成は連続音となる）を，図7に示す。表１に示すデータ例の被験者は，墨字が書ける弱視者であったので，アイマスク着用でも図7に示すように上手に書けている。表１内のY座標は，値が大きい（ある閾値以上の）ときは運筆中なので，図7では，書字中は赤色，運筆中は黄色で描画している。マーカー位置の座標点から作られた定位感マップによる音色は，改良すべき点が多数あるものの，筆位置の仮想音源で書字誘導を行うことは有効であった。書字の際に，赤外線・超音波法では超音波の発信位置が，光学的手法ではマーカー位置が，それぞれ疑似音響の生成位置となるので，実際のペン先位置との間で誤差の修正が必要となる。図8は，この誤差修正を示したものである。同図において，赤丸の位置Dが取得された音源位置と仮定する。このとき，筆位置Pからの距離をd，ペンの傾きをθとすると，図3内の頭部中心Oに届く音源を以下の誤差で修正する。
数式2

図8　仮想音源位置と筆位置との間の誤差修正
空間表現法の一つである距離場空間モデルを用いれば，空間の密度（広さや狭さ）が推定できる[6]。そこで，現状の距離場状態から，筆移動先の範囲を推定できる可能性がある。例えば書画が円ならば，筆移動中の音色は理解しやすい（始点と終点が重なるので同一音として聞こえる）。このときの筆移動推定を距離場で表現したものを図9に示す。同図において青丸が筆位置であり，筆移動の距離場状態から筆移動先の範囲を推定したのが，筆位置から放射されている円弧である。これより，音色（筆移動先の識別範囲）を外さなければ円の書画は書きやすいことが分かる。著者等は既に，力覚を用いた視覚障碍者の書字訓練システム[7]，および，クロックポジションによる視覚障碍者の腕の誘導システム[8]などを開発してきたが，本研究の成果を組み込むことで，これらのシステムの向上が期待できる。
図9　距離場空間法による筆移動推定

５．おわりに
本報告では，筆の移動が音色で分かるような視覚障碍者のための音響ペンを提案した。この研究は可読が容易な筆記を，視覚障碍者が音色のみのフィードバックで書けるか否かを探るものであり，書字訓練を教師なしで行うことや，音色のパターンを字の記憶学習に展開させるなどの可能性を秘めている。
謝辞本研究は，平成28年度科研費（挑戦的萌芽研究，16K12781,“筆位置を音色で確認できる視覚障碍者用音響ペンの提案”）の助成を受けて行われている。ここに深く謝意を表する。

参照文献
[1] Kobayashi M，Watanabe T．A Tactile Display System Equipped with a Pointing Device ―MIMIZU―．Lecture Notes in Computer Science．2002; Vol.2398: p.527-534．
[2] 巽久行，村井保之，関田巌，他．視覚障碍者のための音響ペンの提案．第15回情報科学技術フォーラム(FIT2016)．2016; 3(K-053): p.561-562．
[3] ペンテル社．airpen動作原理サイト（cited 2016-12-28）， http://www.airpen.jp/mechanics/．
[4] 巽久行，村井保之，関田巌，他．視覚障がい者のためのオンライン地図情報を利用した触地図移動．第13回情報科学技術フォーラム(FIT2014)．2014; 3(K-021): p.423-424．
[5] ペガサステクノロジーズ社．DLサイト（cited 2008-12-10），http://www.pegatech.com/?CategoryID=232．
[6] 村井保之，巽久行，宮川正弘．ニューラルネットによる混雑認識を用いた視覚障がいの腕の誘導．第8回情報科学技術フォーラム(FIT2009)．2009; 3(K-016): p.559-560．
[7] Murai Y，Kawahara M，Tatsumi H，et al．Kanji Writing Training with Haptic Interface for the Visually Impaired．Proc. of the 2010 World Automation Congress．2010; No.IFMIP-534．
[8] Murai Y，Kawahara M，Tatsumi H，et al．Congestion Recognition for Arm Navigation, ―Aids for the Visually Impaired―．IEEE Proc. 2010 Int. Conf. on Systems, Man and Cybernetics．2010; No.539: p.1530-1535．

Proposal of a Digital Pen for Visually Impaired Individuals that will Allow them to Recognize Handwriting Position using Sound

TATSUMI Hisayuki1), MURAI Yasuyuki2), SEKITA Iwao1), MIYAKAWA Masahiro1)
1)Department of Computer Science, Faculty of Health Sciences,Tsukuba University of Technology
2)Department of Pharmaceutical Medical Business Sciences, School of Pharmacy,Nihon Pharmaceutical University

Abstract: It is difficult for visually impaired individuals to write characters using a pen. This is not only because their visual impairment prevents them from seeing the location of the pen-tip, but also because they are unable to confirm the movement of the pen-tip and their handwriting (in other words, the shapes of the characters written hitherto). In this research, we propose an acoustic digital pen for the visually impaired that will allow them to recognize the movement of a pen by sound. By writing a character in simple notation, Hiragana letters, non-complex Kanji, etc., while using a sound and variations in the sound’s tone color to understand the movement direction of the pen (that is, the characters’ directional vectors or strokes), visually impaired individuals can write readable characters faster and more accurately than if they were to write using conventional writing training. This research aims to apply the pen as an easy-to-use character-writing trainer for visually impaired individuals.
Keywords: Visual impairment, Acoustic digital pen, Pen-tip location tracking, Handwriting ability, Writing training