触知VR上での仮想把持感を利用した白杖歩行支援

巽 久行1），村井保之2），関田 巌1），宮川正弘1）
筑波技術大学　保健科学部　情報システム学科1）日本薬科大学　薬学部　医療ビジネス薬科学科2）

要旨：仮想現実（VR）を創る研究は数多いが，視覚情報から遮断された視覚障碍者に仮想現実感を持たせることは容易ではない。本研究の目的は，データグローブが付随している力覚フィードバック装置を手指に装着して，疑似的な触力覚を感じさせることで仮想現実を創り出し，彼らの環境把握や空間認知の支援を行う触知VR技術を開発することである。VR空間上に仮想手とそれに把持される仮想白杖を実現し，力覚フィードバック装置を付けた被験者の手を仮想手に重ね合わせることにより，仮想白杖を通して，路面に設定した疑似的な点字ブロックの触知感が仮想現実を作り出す。即ちVR空間上に置いた点字ブロックが，現実の路面上では存在しない架空のブロックが置かれたような把持感を生じさせる触知VRシステムを構築し，その有効性を実際の白杖歩行で確認した。
キーワード：視覚障碍，疑似触力覚，触知VR，仮想把持感，白杖歩行支援   

１．はじめに
視覚的情報と擬似的感覚とを組み合わせて仮想現実（Virtual Reality）を創る研究は数多く行われているが，視覚障碍者に仮想現実感を持たせることは難しい。本研究は，触力覚を生成する力覚フィードバックデータグローブを装着して，手指に感じる疑似的触力覚から仮想現実を創り出し，彼らの環境把握や空間認知の支援を行うことを最終的な目標としている。このような触知支援が可能ならば，点字ブロックのない場所や転落事故の危険があるホームなどで，白杖を持つ手指に警告ブロックや転落防止用のブロックがあるかのような疑似触力覚を感じさせて安全性を確保する技術への展開が期待できる。コンピュータグラフィックスによる視覚情報は様々な仮想現実感を創り出せる（これを視覚VR技術と呼ぶ）。また，聴覚情報のみで引き起こす仮想現実感を聴覚VR技術と呼ぶが，聴覚を排除した状況で視覚障碍者が仮想現実感を得るのは一般に困難な問題として知られている。本研究は，触力覚のみから仮想現実を引き起こすような，触知VR技術を開発することを目標としている。触覚や力覚だけでは仮想現実感を得るに足りないというのが触知VR技術の育たない根拠であるが，実際に，視覚障碍者は触覚や力覚などの触知情報を使って間接的に環境を知る。この事実は，上手く疑似的触知感を創り出せば，逆に，環境把握や空間認知を支援することができ，彼らの行動や安全性を向上させる技術になり得ることを示唆している[1, 2]。

２．システムの概要
手指が仮想触力覚を感じるには，各指に異なる触力覚を与える必要がある。また，それが臨場感を生むためには，触知感をフィードバックさせなければならない。このため，本研究では，図1に示す右手用の力覚フィードバックデータグローブ装置（米国CyberGlove社のCyberGrasp）を使用して，仮想現実感を創り出すことを試みている[3, 4, 5]。
手指への仮想物体の反力（仮想触力覚）を得るには，PC上に仮想物体を作成する必要がある。本研究では，図2に示すような仮想的な白杖（及び仮想手）をOpenGL準拠のC言語ライブラリであるGLUT（OpenGL Utility Toolkit）で作成している。図3は，仮想白杖を把持している状況である。また，その反力となる仮想力覚の生成は，VirtualHand SDK（米国CyberGlove社の開発支援ツール）を利用して，システム全体をVisual C++言語で作成している。
図1　力覚フィードバックデータグローブ装置
図2　仮想白杖と仮想手
図3　仮想白杖の把持
即ち，図2の仮想手はデータグローブを装着した実手が重ねられており，VR空間の仮想白杖による点字ブロックの触知動作は，先ず触力覚としてVR空間の仮想手に発生して，次に，力覚フィードバックデータグローブ装置を介して実手に伝わる。視覚障碍者は白杖で路面上を探索し，伝わる触力覚から歩行情報を得ているので，本研究で構築する触知VR空間には，実験用として2種類の仮想点字ブロック（警告ブロックと誘導ブロック）を用意し，仮想白杖とそれを把持する仮想手を実装した。これより，白杖を持つ手の把持感が，仮想点字ブロックの疑似触力覚としてリアルに表現できれば，触知VRの可能性を評価できる。

３．白杖が受ける触力覚
白杖歩行時の体感を創り出すには，実際の白杖が受ける触力覚を分析すればよい。そこで，図４に示す指型触覚センサ（米国SynTouch社のBioTac）を白杖に装着して手指（人差し指）位置の力覚や振動データを収集・分析した。
図4　指型触覚センサ（左図）と電極位置（右図）
図４に示す指型触覚センサ（左図）は内部が導電性液体で満たされており，指先に23個の電極が設置され，また，振動を感知する圧力センサもある。同図右に示す外圧感知電極（#1～#19）は，白杖が受ける外圧をセンサ内の導電性液体のインピーダンス変化で検出する。一般に右手人差し指が白杖に触れている場合，2つの電極（#9と#10）の値が大きくなる。外圧からの振動はセンサ内部で高速の流体音波となるので，圧力センサで振動成分が検出できる。図5に，実際の点字ブロックから，白杖を把持する人差し指が受けた力覚を示す。同図の外圧波形において，力が強く表れるのは最も下にある2つの波形である（#9電極が赤色波形，#10電極が水色波形）。但し，縦方向のスケール値は同じではない（警告ブロックの値は，誘導ブロックの値に比べて3～5倍大きい）。
通常，警告ブロックの場合は，視覚障碍者が左右に振る白杖にブロックの凸部が当たるので，振動は離散的で比較的強い力覚を短く瞬間的に与えると，作成した疑似力覚は実際の外力に似る傾向にある。一方，誘導ブロックの場合は，白杖をブロックの山の側面に当てながら滑らせるので，振動は連続的で比較的弱い力覚を長く小刻みに与えると，実際の外力に似る傾向にある。白杖にマーカーを付けてカメラで追跡すると，歩行時では，図6に示すような軌跡が得られる。同図において装着したマーカーは2つであり，白杖の先端から5cmの箇所に赤色マーカーを，手指（人差し指）で把持する箇所に緑色マーカーを，それぞれ貼り付けている。
図5　白杖が受けた外圧波形（左：警告，右：誘導）
図6　歩行時における白杖の軌跡

４．仮想触力覚の生成
力覚フィードバックデータグローブ装置を用いて，白杖が凸山状のブロックから受ける外圧に近い疑似触力覚を発生したときの様子を，図7に示す。同図から分かるように，疑似触力覚の生成時に，被験者は何もない床面を探るような動作を起こしている。図8は，触知VR空間に架空の警告ブロック（黄色）を模擬した触力覚を付加したときの白杖軌跡であり，歩行中に突然変化した様子が分かる。
図7　疑似触力覚を発生したときの白杖の様子
図8　架空ブロック（黄色）による白杖の軌跡
以上の実験から，疑似的な触力覚と実際の触力覚が似た場合に，視覚障碍者は仮想現実感を持つことが期待できる。それでは，疑似的な触力覚と実際の触力覚との比較評価をどのように行うのか，という問題が生ずる。この評価のために，手指（特に人差し指）の筋活動に係わる筋肉に着目し，前腕屈筋群の一部と前腕伸筋群の一部で指を屈伸した際に反応があった点に電極を装着して表面筋電位を計測した。図9は，筋電位測定器を装着した実験風景である。使用している筋電位は2チャンネル計測なので，前腕内側をCh.1に，前腕外側をCh.2に，それぞれ設定した。図10は，警告ブロックを触知している際の，白杖を把持する人差し指から前腕に伝わる筋電位（上側波形がCh.1，下側波形がCh.2）であり，同図左は仮想ブロック（凸点を模擬したもので振動は離散的で比較的強い疑似触力覚）から，同図右は現実のブロックから，それぞれ得られたものである。
図9　筋電位測定器（左図）と装着実験風景（右図）
図10　触知時の筋電位波形（左：仮想，右：現実）
当然ながら，現実の点字ブロックで測った同図右の方が筋電位は強く表示されているが，本研究では，ブロックのある路面の触力覚データからブロックのない路面の触力覚データを差分してブロックの疑似的な触力覚を創生し，実際の路面の触力覚に重ね合わせて仮想路面を構築している。疑似触力覚を現実の触力覚と重ね合わせて仮想現実感を創生するので，疑似触力覚に対する違和感は多少軽減される。その意味で本研究は，仮想世界の触力覚と現実世界の触力覚とを融合した複合現実（Mixed Reality）による触知VRである。疑似的な触力覚と実際の触力覚との違いを分析するのは難しい問題である（筋電位波形は観測条件に左右されるので，評価として有効な方法ではない）。

５．複合による触知VR
本研究は，触力覚を生成する力覚フィードバックデータグローブ（以下，力覚デバイスと呼ぶ）を装着して白杖を把持し，路面から受けている現実の触知感と，架空の警告ブロックや転落防止用のブロックがあるかのような疑似触知感とを複合させて，視覚障碍者の環境把握や空間認知での安全性を確保する触知VR手法を開発することを目的としている。ここでは，複合現実についての考察を述べる。物体形状を取得できる光学式モーショントラッカーを用いて，手に装着した力覚デバイスの把持形状を追跡した。基本的に把持している対象が同じならば把持形状は一致する。図11は，力覚デバイスの把持形状であり，同図左は実際の白杖を，同右図は仮想白杖を，それぞれ把持している様子である。これから分かることは，実際の白杖を把持する力覚デバイスの手の形状は自然（白杖を柔らかく包む感じ）であり，仮想白杖を把持する力覚デバイスの手の形状は緊張気味（手がしぼんで指が近づいている感じ）で，仮想白杖の反力を探している様子がうかがえる。力覚デバイスからの疑似触知感は指先のみで手の平全体にかかる触知感ではないので，いかに両者の触知感を違和感がなく複合させるかが成否の鍵となっている。図12は，白杖からの路面の触力覚と，架空警告ブロックが生成した疑似触力覚とを複合し，そのときの腕の筋電位を計測したものである。同図より，図10の右図に示す現実の警告ブロックの筋電位波形に近づいているものの，波形周期が規則正しくて不自然であり，筋電位の波形以上に実際の触知感には違いがあった。
図11　力覚デバイスの把持形状（左：白杖，右：仮想白杖）
図12　複合時における筋電位波形
最後に，触知VR空間の設置案を述べる。図13は地下鉄のホームを撮影した写真であり，図14は，このホームの空間内を正確に計測した距離データではないが，空間の広がり傾向が類似する距離データを用いて，距離場空間モ
デル[6]で作成した距離場である。同図より，触知VR空間の設置場所として，距離場の急激な変化が見られる箇所に触知VR空間を張り巡らせばよいことが分かる。空間内の距離場データの計測は，移動ロボットなどで使用されているレーザーレンジファインダなどで行うことができる。
図13　地下鉄ホーム
図14　距離場空間の例

６．おわりに
仮想現実感を創り出して視覚障碍者の環境把握や空間認知を支援する本研究は，インフラの整備を全く必要としない。白杖を持つ手指に伝わる疑似触知感による歩行は，触知VR移動とも呼べる技術であり，これまで視覚障碍者自身が培った認知経験や環境認識をそのまま利用できる。視覚障碍者が頼る音声や音源などと共に使えば，疑似触知による仮想現実は様々な視覚障碍補償支援に展開できる可能性を秘めている。

謝辞
本研究は，平成27年度科研費（基盤研究（B）25280097，“仮想現実への汎用触知インタフェースの開発”）の助成を受けて行われた。ここに深く謝意を表する。

参照文献
[1] 巽久行，村井保之，関田巌，他．仮想的な触力覚を利用した視覚障がい支援の提案．第12回情報科学技術フォーラム(FIT2013)．2013; 3(K-044): p657-658．
[2] 巽久行，村井保之，関田巌，他．視覚障がい支援のための仮想触力覚の利用．第13回情報科学技術フォーラム(FIT2014)．2014; 3(K-020): p.421-422．
[3] 巽久行，村井保之，関田巌，他．視覚障がい支援のための疑似触力覚の適用．筑波技術大学テクノレポート．2014; 22(1): p.6-10．
[4] 巽久行，村井保之，関田巌，他．触知VR上での仮想把持感による白杖歩行について．第14回情報科学技術フォーラム(FIT2015)．2015; 3(K-031): p.541-542．
[5] Tatsumi H，Murai Y，Sekita I，et al．Cane Walk in the Virtual Reality Space using Virtual Haptic Sensing, ―Toward Developing Haptic VR Technologies for the Visually Impaired―．IEEE Proc. 2015 Int. Conf. on Systems, Man and Cybernetics．2015; DOI 10.1109/SMC.2015.413, p.2360-2365．
[6] Murai Y，Asaoka S，Tsuji H，et al．Distance Field Model Concept for Space Representation．Journal of Advanced Computational Intelligence and Intelligent Informatics (JACIII)．2007; 11(10): p.1241-1249．

Cane-walk Support Featuring Virtual Grasping Feelings in a Haptic VR Scenario

TATSUMI Hisayuki1), MURAI Yasuyuki2), SEKITA Iwao1), MIYAKAWA Masahiro1),
1)Department of Computer Science, Faculty of Health Sciences,Tsukuba University of Technology2)Department of Pharmaceutical Medical Business Sciences, School of Pharmacy,Nihon Pharmaceutical University

Abstract: Creating virtual reality (VR) by combining visual information and pseudo-touch sensing is studied widely. However, being strictly detached from visual information, it is not easy for visually impaired individuals to sense a VR world. They are to rely on cane walk. The purpose of our study is the development of what we call haptic VR technology that can aid visually impaired individuals with sensing the surroundings in a VR space. In our scenario here we propose a method of creating a VR that involves the pseudo-haptic sensing of studded paving blocks on a pavement through the use of a virtual cane. We concern haptic-sensing process that consists of a force-feedback device located on the fingertips of a data-glove worn on the user’s hand. As a VR sensing setup, we have created two VR objects: “virtual cane” and “virtual hand” which can grasp the cane and manipulate it. The user's hand, which wears the force-feedback device, we superposed on the virtual hand. He searches for the virtual sensations on the fingers provided in the system through the cane by that it comes into contact with the studded paving blocks on the pavement. Thus, searching the pavement for the blocks by touching the virtual cane in the VR space is conveyed to the actual hand of the user via our cane-walking device.
Keywords: Visual impairment, Pseudo-haptic sensing, Haptic VR technology, Virtual grip feeling, Cane-walking support