仮想的な触力覚で形状理解を行う視覚障碍者のためのオブジェクト認識支援

巽 久行1），村井保之2），小林 真1），関田 巌1），宮川正弘1）
筑波技術大学　保健科学部　情報システム学科1）
日本薬科大学　薬学部　医療ビジネス薬科学科2）

要旨：本研究は視覚障碍者自身が環境内にあるオブジェクトの認識や状況等を把握した行動や振る舞いができるような情報保障支援を行うことを目標にしている。そのため，環境内のオブジェクトを模した計算機内の擬似オブジェクトが作る仮想的な触力覚に接することで，視覚障碍者に認識対象とするオブジェクトの形状理解を向上させるようなオブジェクト認識手法を開発する。一般にオブジェクトの形状情報は言語化が難しく，例えそれが話し言葉になったとしても，オブジェクトの形状理解を聴覚のような一次元的な伝達で行うのは困難である。それゆえに，触力覚に頼る視覚障碍者と共創しながら，２次元的ないしは３次元的な認識意識の拡充が必要となる。本報告では，２次元や３次元の基本形状を計算機内で組み合わせて作成した擬似オブジェクトに対して，仮想的な触力覚をもとにした視覚障碍下での形状の理解とオブジェクト認識の過程を考察しているが，これらの疑似オブジェクトを視覚障碍者に提示する際は，触覚ディスプレイで２次元図形に触れることにより，また，力覚フィードバック装置で３次元形状を感じることにより，彼らに理解できるように提供されている。
キーワード：視覚障碍，オブジェクト認識支援，擬似オブジェクト，仮想触力覚，形状理解

１．はじめに
現状の視覚障碍補償技術の制約内で触知手法を向上させることにより，視覚障碍者に環境内の状況等を把握した行動認識や振る舞いを行わせることを研究の目標にしている。即ち，視覚障碍者自身がオブジェクトの認識を行えるような支援手段を開発することが最終目的である。一般にオブジェクトの形状情報は言語化が難しく，また，オブジェクトの形状理解を聴覚のみの手段で行うのは困難である。それゆえに視覚障碍者と共創しながら，二次元的ないしは三次元的な触知を伴った認識意識の拡充が必要となる。本研究は，簡易的な２次元や３次元の基本形状を合成・分割することで生成した擬似オブジェクトの形状による触知支援手法を考察しているが[1]，本報告では，仮想的な触力覚で形状理解を支援するような形状認識手法を検討する。なお，触知用機器で形状の提示をする際，２次元の図形を触覚で提示する場合は点図ディスプレイを，３次元の形状を力覚で提示する場合は力覚デバイスを，それぞれ使用している。また，その形状の表示要求に応じた分解能に適応できるように擬似オブジェクトデータを管理しているが，現状，特に，拡大・縮小時の分解能に適した擬似オブジェクトの認識に満足のいく結果が得られていない。そのため，擬似音響感覚を合わせることでオブジェクトの形状理解を補助することも検討している。

2．オブジェクトの触知化
環境内のオブジェクトを触知化して視覚障碍者に形状を伝達するといった研究があまり進展していない理由の一つに，現存する触知機器の表現能力では正確にオブジェクトを認識させるほどの分解能にない点が挙げられる。しかし著者等は，触知機器の分解能が足りなくとも，この様な形状のオブジェクトが環境内にあると情報伝達ができれば，視覚障碍者に行動認識を誘起させるのは可能であると考えている。触知させたい形状の生成に膨大なデータを使用せずとも，単純で基本的な形状のみ（２次元情報として四角形や円など，３次元情報として直方体や球など，の典型的データのみ）を用意し，それらを組み合せれば（和集合，積集合，差集合などの基本演算を施して擬似的な複合オブジェクトが生成できれば）良い。オブジェクトを触知する際の視覚障碍者の表示要求に対応した自由度の高い擬似オブジェクトの生成手法の確立が必要であると考えている。環境を知ることだけに留まらず知識を学ぶ上でも，オブジェクトの形体認知を行えるか否かは，様々な状況把握や学習行為を左右する。将来，ウェアラブルセンシング分野の発展に伴い，晴眼者と視覚障碍者との間の情報獲得格差は圧倒的に広がると予想される（ウェアラブルカメラが追跡したオブジェクトを画像認識した結果，リモコンと判定した場合は“ テレビを見る”という行動認識を推定して，テレビの操作に関する支援を行うといった未来も間近である）。視覚障碍者が理解したいオブジェクトが，実体か仮想体かに関わらず，また，触察可能か否かに関わらず，図的情報や形状情報を理解するための触知が行えること，さらに，触知結果を視覚障碍者の行動認識に利用することが重要である。本研究で使用している触知機器は汎用的なものではないが，触覚を感じる液晶パネルや力覚を感じる繊維などの新しい技術が生まれているので，視覚障碍者に行動認識を起こさせることは非現実的な問題ではない。

3．擬似オブジェクトの形状生成
距離場空間モデルとは，図１に示す距離場と呼ばれる対象物Gと参照点Pとの位置的な関係を示すベクトル場：
　(IQ, d, Q, KIND) 　　式(1)
として表現される[2]。ここで，各要素は次の通りとする。
　IQ： 点P の内外属性（IN/OUT）．
　d： 点Pと図形境界との距離，またはその下側近似値．
　Q： 点P に対する境界δG 上の最短距離点，求まらないときはNIL．
　KIND： dとQ が求まるとき1，それ以外は2．

図1　距離場データ
　次に，距離場空間モデルが，一種のファジィ空間モデルとして解釈できることを示す。ユークリッド距離空間En 上で定義された通常の点集合をAとし，集合A の補集合，内部，外部，境界および閉包を，それぞれ，記号Ac, Ai, Ae, Ä, ¯Aで表すものとする。今，Enに関わるA 上のファジィ集合[A]を，次のようなメンバシップ関数で定義する。
　μ[A] : En → R, 　　式(2)
但し
　数式　

　なお，B(P, r) は，　数式　で定義された点Pのr 近傍と呼ばれる開球である。
ここで，式(2) で構成されたファジィシステムが，距離場空間モデルのファジィ論的解釈になっている。即ち，En 上に構築された距離場空間モデルのもとで，集合A の距離場dfA が定義されているものとすると，[A] のメンバシップ関数μ[A] は，dfA と次式のように関係づけられる。
数式 （3）
このように，上記ファジィシステムは距離場空間モデルから導出され，物体A の形状が未知ないしは不確定であるときに，空間上の参照点x が集合A に属するという確かさの程度であるとして解釈できる。結局，ファジィシステムと距離場空間モデルには，互いに一方から他方を誘導するメカニズムが構成できるので，自然な対応が存在していると言える。
なお，距離場空間モデル上のメンバシップ関数の演算は，次のようにファジィ論的に解釈できる。

数式 （4）

図2　複合オブジェクトの形状生成過程
図２に，３次元複合オブジェクトの形状生成過程の例を示す。触知する擬似オブジェクトの形状はすべて基本的なオブジェクトからの複合オブジェクトとする（図２は基本図形の立方体と球を合成し，基本演算を施しながら，差図形や積図形のような複合オブジェクトを生成している）。
オブジェクトの生成における基本形状や基本演算の適用は，オブジェクト指向の考えに基づいて設計されるので，クラス概念やメッセージ通信に基づく拡張性のあるシステムとなる。複合オブジェクトの形状生成についても，距離場空間モデルによる空間表現法が提案されており[3]，その手法を用いて形状生成やモデリングを行っている。図３に，複合オブジェクトを生成する際の，基本形状や基本演算等の適用を示す。

図3　複合オブジェクトの形状生成過程
図4　システムの概要

図４に，本研究で開発を目指すシステムの概要を示す。このシステムの中心は擬似オブジェクトの生成であり，それには図的情報の構成と形状情報の構成の二つから成る（図４内の中央部分）。擬似オブジェクトの生成後に形状伝達として，触覚提示と力覚提示を行う（図４内の右部分）。提示における触指状況は，可能ならばテキスト化（言語への落とし込み）を行う。環境内に存在するオブジェクトの形状取得は，探索・認識・形状抽出・学習／照合などから成るが，これらはパターン認識の既存手法や商用サービスを利用している（図４内の左部分）。図５は擬似オブジェクトの生成と触知を示す。擬似オブジェクトの生成は距離場空間モデルを使用しており，擬似オブジェクトの提示は，図的情報は点図ディスプレイによる触覚提示を，形状情報は力覚フィードバックデバイスによる力覚提示を，それぞれ使用して伝達を行っている。図６は，基本形状である球に対する擬似オブジェクトの触知実験であり，図７に示すような四指（親指，人差し指，中指，薬指）にLED マーカーを付けて，モーションキャプチャ装置による触指の追跡を行っている[4]。図８は，図６の球に対する触知の検証である。これまでの結果から，擬似オブジェクトの大きさが力覚デバイスの大きさ（即ち，手指の大きさ）から相対的に離れるほど，触察にかかる時間が増加し，その正確さも減少する傾向が顕著になる（図９を参照，横軸は手指の大小比で，縦軸は触知の度合いである。同図から擬似オブジェクトの触察は拡大よりも縮小の際に触知が困難になることが分かる）。


図5　擬似オブジェクトの生成と触知
図6　基本形状である球の触知
図7　触指の追跡
図8　球に対する触知の検証
図9　基本形状の認識傾向
　
4．仮想的な触力覚による認識支援
実物のオブジェクトの触察に比べて擬似オブジェクトによる触察は，触力覚デバイスの表示能力に起因した制約があるので，形状伝達が上手く行われているとは言い難い。形状の複雑さとオブジェクトの取得データ量は比例しており，同一のオブジェクトでも表示角度の違いでデータ量と処理速度は大きく変化するので，触知情報の伝達は根本的に難しい問題を含んでいる。複合オブジェクトのデータ構造は，図10 に示すように２次元図形を四分木（Quad tree）で，３次元形状は八分木（Oct tree）で管理しており，複合オブジェクトを触力覚機器で提示する際は，表示要求に応じた拡大・縮小の分解能に適応できるようにしている。
図10　オブジェクトのデータ構造

しかしながら，触覚や力覚による擬似オブジェクトの形状生成が，実際のオブジェクトの空間的な構成や正確さをどこまで表現できているのか，特に，表示要求に応じた拡大・縮小時での分解能に適した細分化や統合化による擬似オブジェクトの生成に満足な結果が出ずに困難な課題として立ち塞がっている。このため，局所的な仮想触力覚とは別の手段（例えば，擬似音響などによる可聴化など）[5] で対応することも検討している。
視覚障碍者の触察において，同じ基本形状の連続的な触知面における擬似オブジェクト認識は比較的容易であるが，非連続的な触知面，即ち，複数の基本形状が交わっている箇所の触知に対する擬似オブジェクト認識は難しいようである。複数の基本形状の交差に対しては，被験者の要求に応じた擬似オブジェクトの拡大・縮小が行われるが，ここでは擬似オブジェクトによる通常の反力（即ち，触知面からの力覚）ではなく，形状の理解を支援するような，仮想的な触力覚や音響感覚を付与すべきである。式(4) で示すように，距離場空間モデルで表現されたオブジェクト同志の演算はファジィ論的に解釈できる。即ち，基本形状AとB の距離場がそれぞれdfA とdfB で定義されているとき，基本オブジェクト同志の基本演算からなる複合オブジェクトの距離場は，メンバシップ関数の演算として閉じている。よって，[A] および[B] のメンバシップ関数μ[A]およびμ[B]に対応する擬似音響を予め定義しておくと，それらのメンバシップ関数の基本演算に対応する合成擬似音響が作成できる。触察時に，基本形状に対する擬似音響と，基本形状の交差に対する合成擬似音響を生成すれば，交差面での形状理解を補助することが可能である。

5．まとめ
環境内に存在するオブジェクトの図的情報や形状情報が触知できれば，例え音声による情報伝達が困難な場合でも，視覚障碍者自身で行動認識を起こす状況が作り出せると考えている。即ち，センシング手法が構築できれば，様々な福祉分野や教育分野での補償支援への展開が期待できる。実際のオブジェクトの空間的な構成や正確さを含めた形状理解と，擬似オブジェクトの形状理解とは隔たりがあり（視覚障碍者は遠近の把握が困難），擬似オブジェクトの拡大・縮小時の分解能に適した細分化や統合化に改良の余地があるものの，新たな触知手法の確立と視覚障碍者自身によるオブジェクトの認識が行えることが重要である。

謝辞
日頃ご指導をいただく神奈川工科大学名誉教授の徳増眞司先生に深謝いたします。本研究は2019 年度科研費18H03656 の助成を受けて行われている。ここに深く謝意を表する。

参照文献
[1] 巽，村井，関田，徳増，宮川: “ 擬似触覚形状の生成による視覚障碍者のオブジェクト認識の向上”，第17 回情報科学技術フォーラム講演論文集，Vol.3, No.K-032, pp.377-378, 2018.
[2] Murai Y., Asaoka S., Tsuji H., Tatsumi H., Tokumasu S.: “Distance Field Model Concept for Space Representation”, Journal of Advanced Computational Intelligence and Intelligent Informatics (JACIII),Vol.11, No.10, pp.1241-1249, 2007.
[3] 徳増，巽，村井，仁尾: “ 距離場空間モデルによる汎オフセット概念とその応用”，情報処理学会論文誌，Vol.42, No.1, pp.26-37, 2001.
[4] Murai Y., Tatsumi H., Miyakawa M.: “Recording of fingertip position on tactile picture by the visually impaired and analysis of tactile information”, Proc. 16th Int. Conf. on Computers Helping People with Special Needs, Springer, LNCS 10897 Part II, pp.201-208,DOI: https://doi.org/10.1007/978-3-319-94274-2_27, 2018.
[5] Nakada K., Kobayashi M., Murai Y., Sekita I., Tatsumi H.: “A tablet-type acoustic digital pen that presents pen strokes with music tones, Proc. 10th Int. Conf. on Education Technology and Computers, pp.297-301,DOI: https://doi.org/10.1145/3290511.3290573, 2018.


Object Recognition Support for the Visually Impaired to Perform Shape Understanding by Utilizing Virtual Haptic Senses

TATSUMI Hisayuki1), MURAI Yasuyuki2), KOBAYASHI Makoto1),
SEKITA Iwao1), MIYAKAWA Masahiro1),
1)Department of Computer Science, Faculty of Health Sciences,Tsukuba University of Technology 
2)Department of Pharmaceutical Medical Business Sciences, School of Pharmacy,Nihon Pharmaceutical University

Abstract: This research aims to provide information accessibility support for visually impaired individuals to perform actions and behaviors that recognize objects by themselves or reflect their understanding of the situation in the environment. Therefore, we plan to develop an object recognition method for them to improve the shape understanding of the target recognition object by touch virtual haptic senses created from a pseudo object in a computer, which mimics an object in the environment.In general, the shape information of an object is difficult to verbalize. Even if its information is transformed into spoken words, it is hard to understand the shape of an object with a one-dimensional transmission through hearing. Therefore, it is necessary to expand context awareness into two- or three-dimensional contexts while collaborating with visually impaired individuals who rely on haptic sensation. In this report, for pseudo objects created by combining two- and three-dimensional basic shapes in a computer, we consider the processes of shape understanding and object recognition under visually impaired conditions based on virtual haptic senses. These pseudo objects are presented to visually impaired individuals so that they can understand by touching a two-dimensional figure with a tactile display and by feeling a three-dimensional shape with a force feedback device.
Keywords: Visual impairment, Object recognition support, Pseudo object, Virtual haptic sense, Shape understanding