触知による形状追跡とそのイメージ生成の解明 巽 久行 1),村井保之 2) 筑波技術大学 保健科学部 情報システム学科 1)日本薬科大学 薬学部 医療ビジネス薬科学科 2) キーワード:視覚障碍,触知,触指追跡,図形イメージ,画像特徴量 1.目的 視覚障碍者は触指で図や形状を理解するが,彼らのイメージ生成過程が分からないので,情報保障支援は容易ではない。その原因の一つは,視覚障碍者がどのように触知して図形イメージを獲得しているかの理解が不足していることにある。本研究はイメージ生成を解明する試みとして,触指位置を検出・追跡し,触指した軌跡と画像特徴量から,触指イメージを定量的に分析・評価することを試みる。研究の目標はイメージ生成の可視化であり,最終的には,形状の音声説明を可能にするような情報獲得支援につなげることにある。 2.成果の概要 触知でイメージを生成する過程の解明は,未だ研究の途上にあるが,視覚障碍者は輪郭線だけで描かれた凸絵を,絵として識別できることが分かっている[1]。そこで,一般の対象物を触知で認識する試みとして,写真からエッジ検出(例えば,Canny 法で検出)した輪郭のみで表現された触画に対して,触指した軌跡がどのように描かれるかを追跡した。図1は実験に用いた画像例で,左図は原写真を,右図はエッジ検出画を,それぞれ示す。図2は実験の様子で,左図はエッジ画からカプセルペーパーで凸化した触画を被験者が触知する状況を,右図は触知する利き手の人差し指に付けたマーカーを追跡するための2台のカラーカメラを,それぞれ示す。図3は,左右2台のカメラによる触指追跡の結果であり,左図は左側カメラの,右図は右側カメラの,それぞれの軌跡画である。この実験で触知した被験者(彼はバラを知っている)は,花の輪郭であると推測(“花のようだ”と回答)した。 図1 バラの画像(左:原写真,右:エッジ画) 図2 実験の様子(左:凸画触知,右:触指追跡) 図3 触指軌跡(左:左側カメラ,右:右側カメラ) 画像認識において,高速で汎用性の高い手法は局所特徴量を用いたアルゴリズムである。そこで,元画像と触指画像との間で対比した画像特徴量がイメージ化の評価指標になり得るかを検討した(著者等の目的は,触知での有効な特徴量とは何かを求めることにある)。図4に,触知した凸画(図2左図)と,左右カメラの触指軌跡(図3)から触指位置を求めた触画に対して,SURF(Speeded Up Robust Features)特徴点を表示した結果を示す。図5は,図4のSURF特徴点を対応したものである。この対応結果から,単純にSURF特徴量の評価では類似性が検出できていないことが分かる。触指位置を検出・追跡し,そのデータを科学的に分析する試みは,著者等の知る限り殆ど行われていない。このことが,視覚障碍者の形状理解に対する情報保障支援が遅れている原因でもある。先ずは,触指データから対象のイメージ生成を把握するための(触知特徴量と呼べるような)指標を見つけ出すことにある。図6に,元画像に対して様々な画像特徴量(FAST, ORB, BRISK, AKAZE, MSER, GFTT)による特徴点の比較を示す。多数の特徴点が画像のエッジ上に集まる特徴量は対応が良好になる傾向があることから,図6の比較においてはAKAZE(Accelerated KAZE Features)は類似度が高いと思われる。我々は,触知において,触指の移動(ストロークのベクトル)から抽出された方向特徴量が類似度判定に有効であると考えている。また,回転や拡大・縮小の不変性が画像特徴量の長所であるが,これらを多少犠牲にしてでも,変形に強い特徴量が良い。例えば,触知する凸画を正しく置いた場合と回転して置いた場合では,同じ元画像でも触指軌跡が異なってしまう。被験者の利き手が右手か左手かの違いだけでも,触指軌跡に大きな影響を及ぼす。触知における有効な特徴量を見つけるには,触指を模擬した軌跡画を作成する指軌跡シミュレーションを開発する必要がある。被験者が実際に行う触知では,凸線が複雑な個所は触指がゆっくりで,また,凸線が込み入った箇所では軌跡が不連続になることがある。触指軌跡の描画は,画像のフレーム数(経過時間)と触指座標の重ね合せで行うので,フレーム数が多くて座標の変化が少ない場合は触指が遅く,逆の場合では触指が速いので,今後は触指速度も評価指標に入れる予定である。触指移動の際の指先圧力は,移動方向に影響を及ぼすので,指先圧力を計測できる指型触覚センサを使用して評価指標を探し出すことも検討している。最後に,本研究は形状イメージの言語化を含む情報獲得支援への応用が可能であり,触指情報を獲得する際のアクセシブルな判断指標にもなり得る。 図4 SURF特徴点(左:元画像,右:触指画像) 図5 SURF特徴量で図4の結果を対応 図6 元画像に対する様々な画像特徴量の比較 謝辞 本研究は,平成27年度筑波技術大学教育研究等高度化推進事業(触知による形状追跡とそのイメージ生成の解明)の助成を受けて行われた。ここに深く謝意を表する。 参照文献 [1] John M. Kennedy: “Drawing and the Blind: Pictures to Touch”, Yale University Press, 1993. [2] 巽,村井,福永,関田,宮川:“触指位置追跡による図形イメージ獲得過程の理解”,第14回情報科学技術フォーラム(FIT2015)講演論文集,Vol.3, No.K-032, pp.543-544, 2015.