机上混雑状況の認識による腕の誘導（その1）― 視覚を補償するクロックポジション誘導システムの提案 ―

筑波技術大学保健科学部1），筑波技術大学2），日本薬科大学薬学部3）

巽 久行1）　宮川 正弘2）　村井 保之3）

要旨：視覚を補償して机上作業を支援するため、クロックポジションと音による腕の誘導システムを提案する。手および机上の物の位置は光景分析を避け、手や物に貼付されたマーカーを光学的追跡装置を用いて実時間認識した。作業空間の認知地図は手を的確に誘導することで創生される。そこで、距離場空間モデルで得られた空間の状況を積極的に提示することに努めた。手の誘導速度は、物と手の間の距離と手の現在の移動速度に基づいてファジィ制御で決定した。また、ニューラルネットで判定された机上の混雑度を示すのは非常に有効であった。
キーワード：視覚障害、腕の誘導、クロックポジション案内、距離場空間モデル、混雑認識

1．はじめに
　物の位置を指す場合に、クロックポジションと呼ばれる方法がある。例えば食事の際など、“おかずが12時の方向”、“ご飯が7時の方向”などと言う。このような、眼の前にある物の配置を援助者なしに説明する、すなわち、近距離の状況理解を自動的に支援して、さらには、視覚障がいを補償した手の誘導を行うことが本研究の目的である。物の認識を支援して手を導いて触れさせることは、近接環境の認知地図（cognitive map）の創生を助けることができ、視覚障がいの職域や職業を広げることにつながる。著者等は既に、机上の物の位置をクロックポジションで指示して、物に向かうべき腕の誘導をファジィ制御で決定して、音声や信号音で知らせる手法[1]、および、机上の混雑状況をニューラルネットワークで判定する手法[2,3]を開発しているので、それらをまとめてここに報告する。

2．システムの概要
　システム設計の経緯を述べる。当初は対象物の位置検出と手の誘導を画像認識と磁気式位置追跡で行なったが、手の速さに処理が追いつかず、満足な結果が得られなかった。そこで現在は、光学式位置追跡装置 MicronTracker-2 H40（カナダ Claron Technology社製）を用いた、図1のようなシステム構成を採用している。この MicronTracker-2 は、サブミリ精度のパッシブ式3次元位置追跡装置であり、パソコンと IEEE 1394経由で接続できる。位置を取得したい対象には、プリンタで印刷可能な白黒マーカーを貼り付ける。図2にシステムの動作画面を示す。図2内の画像は、MicronTracker-2 でとらえた机上画像である。この実験では、画像中央の手（このマーカーを以降、基準点と呼ぶ）と、画像上部のノートPC、および、画像下部の板4枚を対象物（これらのマーカーを以降、対象点と呼ぶ）として、それぞれの距離と位置を測定したものである。基準点を中心とした円は手の移動可能な範囲であり、対象点を中心とした円は対象物の領域である。基準点を中心とした円の半径は、一般に近接物との最短距離を示す。
　図2において画面右上の数値は左から順番に、基準点と指定した対象点との間の距離（distance：単位 cm）、基準点の移動速度（velocity：単位cm/100ms）、ファジィ制御の出力値（output：0～10で距離感を音の高低で知らせる）、クロックポジションによる対象物方向（clock pos.）を示す。この実行画面の例では、距離は約20cm、速度はほぼ0（停止している）、制御出力は約10（速く移動する）、指定した対象点（ここでは画面右下隅の板）は基準点からみて9時の方向である。机上画像の上に示すテキストボックスは、MicronTracker-2に付属されているSDK（ソフトウェア開発キット）のAPI（Application Program Interface）で取得した情報を表示したものである。プログラム開発は、Microsoft Visual C++ 2005およびMicronTracker-2のSDKを用いた。作成したプログラムの大きさは、メイン処理部が約200ステップ、MicronTracke-2の制御部が約200ステップであり、手の誘導を行うファジィ制御部が約100ステップ、机上の空間を把握する距離場空間モデルの構成部が約200ステップ、混雑状況を判断するニューラルネットワークの処理部が約150ステップである。
　実験は、MicronTracker-2（図1の黒い四角内のカメラ）を机上より約60cmの位置に設置して、約40度の角度で机上を撮影できるようにした。この計測領域は、半径120cm×幅120cm×高さ90cmであり、同時に判別可能なマーカーの最大数は100である。すなわち、手にマーカーを1つ貼り付けるとして、他に99個の物を同時に識別できる（各マーカーにはそれぞれ固有の識別ナンバーがつき、それらの位置（X、Y、Z）とオイラー角（Yaw、Pitch、Roll）を、処理時間15～20msで、位置精度0.20mm以内で検出できる）。本システムでは、MicronTracker-2 で提供されているAPIを用いてマーカーの位置情報をリアルタイム（100ms毎）に取得しており、その位置情報から、つかみ手と対象物との間の距離と方向を求めて（ただし、対象物の方向は利用者の前方を12時とした場合のクロックポジションで指示する）、被験者が対象物に手を近付けるための移動速度等をファジィ制御で決定して、音声や信号音で提示している。

図1　システム構成
図2　動作画面

3．ファジィ制御による手の誘導
　対象点に対する、基準点の速度を求めるファジィ制御の手法を概説する。図3は入力メンバーシップ関数の定義であり、図（a）は基準点と対象点との間の距離関係を、図（b）は現在の基準点における速度関係を、それぞれ表している。図4は出力メンバーシップ関数の定義であり、基準点の新しい速度関係を表している。本システムでは、表1に示すような4つのルールに従って、新しい移動速度である出力の算出をMin-Max重心法で決定している。例えば、基準点と対象点との間の距離が5、現在の基準点の速度が7.5の場合（“近くて速い”場合）、Min-Max重心法で求めた新たな移動速度は、図5のように約2.5となり、“（近くて速いので）速度は遅くする”という解釈が成り立つ。ファジィ制御で計算した手の新しい移動速度は、出力値に比例した周波数音で提示している（Beep関数を用いて3000Hzの音を出力するが、このBeep関数の実行間隔を40msから400msの間で調整しており、距離が近い場合は速く、距離が遠い場合には遅くすることで、Beep音に高低がつけられた断続音として出力される）。

図4　出力メンバーシップ関数（横軸は移動速度）
表1　ルール
図5　Min-Max重心法の計算例

4．距離場空間モデル
　距離場空間モデル[4]は、物体による空間の占有状態の表現に適した汎用計算モデルであり、対象物Gを、図6に示すように、Gと参照点Pとの位置的な関係を示す次のベクトル（距離場と呼ぶ）
（IO, d, Q, KIND） （1）
を空間の各点 Pに与えることで表現する。ここで、各要素は次の通りとする。
IO：点Pの内外属性（IN／OUT）。
d：点Pと物体境界δGとの距離。
Q：点Pに対する境界δG上の最短距離点。（求まらないときはNIL）
KIND：dとQが求まるときは1、それ以外は2。
　距離場空間モデルを用いて作業空間の状況を把握する。表2は、式（1）の距離データdを用いて、図2の机上画像の空間状況を示したものである。机上空間は400×400の広さで、距離場を求める点Pは、縦横25間隔で15×15の255点を設定した。ここで、距離データdが正に大きいほど空間は空であり、dが0のときが物の境界、dが負に大きいほど物の中心に近づく。点Pの間隔が縦横25間隔と粗いので、表中の距離データdだけでは、物と物との離れ具合や、物の境界の様子が分かりづらいが、表2のdが負の部分（色つきの部分5ヶ所）に物が置かれていることが分かる。図7は、表2の距離場空間をグラフ化したもので、図より、左に空の領域が広がっており、中央の谷から右下の部分に移動可能な領域があることが分かる。これより、距離データ dから空間状況を把握することが可能なので、物の配置や手の誘導に対する指示を行うことができる。

図6　距離場データ
表2　図2の机上画像の距離場空間
図7　表2の距離場空間のグラフ化

5．ニューラルネットを用いた混雑度の判定
　机上の混雑度を考えるとき、例えば、机の面積の半分を占める物が置かれていた場合、机の他の半分は自由に移動可能な空間である。しかし、面積の合計は机の半分と同じであるが、沢山の小さな物が散らばって机の上に置かれていた場合、自由に移動できる空間は小さくなる。このように、机の上を占める面積が同じであっても、物の形状や配置によって移動可能な空間が変わってくる。今、混雑度を幾つかのクラスに分類し、入力された机上の物の配置がどのクラスに属するかをニューラルネットで判定することを考える。例として、表2の空間の5×5を1区画として、9区画を評価する。3層フィード・フォワード型ニューラルネットを用いて学習した結果の一例を、図8に示す。入力層は、 1区画の観測点5×5を入力とした25ユニットからなり、出力層は5段階の空間評価（広い、やや広い、やや狭い、狭い、移動不能）を出力とした5ユニットからなる。学習に重要な中間層のユニット数は、代表的な決定法である2n/3（nは入力層のユニット数）を採用して、本システムでは16ユニットとした。
学習は、慣性項を伴った誤差逆伝播法
【関数式（２）】
を用いて行う。式（2）において、Δωはユニット s, t 間の結合の修正量、δはユニットの学習信号、oはユニットの出力を、それぞれ表しており、各ユニットの入力値および出力値は0～1の範囲にあって、空間自由度は、0に近いほど低く、1に近いほど高いことを示す。式（2）における学習率εを0.1、慣性率αを0.9として、学習回数 nが50,000回に到達するか、または、平均2乗誤差
【関数式（３）】
が0.005以下になるかで終了させた。式（3）において、oおよび yは、出力層の出力および出力層の教師信号を、それぞれ表す。表2の9区画、すなわち、図2の机上画像における全9区画の空間混雑度を判定すると、左上および左下は“広い”、左中央および中央上は“やや広い”、中央・中央下・右中央・右下は“狭い”で、右上は“移動不能”に分類された。図9は、表2の混雑度状況を図示したものである。これらの空間情報は、音声で提示するとともに触覚ディスプレイ上に表示して、それを触視することで各区画の混雑具合がすばやく理解できる（ピンの高さや密度を変えることで、 5段階の状況を提示した）。なお、シャノン情報量
【関数式（４）】
を用いて簡単な混雑さは計算できるが、ニューラルネットによる分類器は様々な状況に対処できる利点がある。

図8　ニューラルネットを用いた学習結果の一例
図9　図2（表2）の混雑度状況

6．おわりに
　手を導いて触れさせるという行為は、視覚に障害がある場合の最も適切な情報保障であり、効果的な認知地図の創生につながる。これを単独で誰の助けも借りずに行うというのが著者等の目標とする支援システムである。今後は、本システムに様々な機能を追加することで、近接空間の把握を着実に高めたいと考えている。

謝辞　本研究は平成20年度科学研究費補助金（基盤研究（C）、20500798：“クロックポジション誘導による近接空間認識支援”）の助成を受けて行われている。

参考文献
[1]Y. Murai, H. Tatsumi, M. Miyakawa, S. Tokumasu, “Clock Position Arm-Navigation Assisting for the Visually Impaired”, Proc. 8th Int. Conf. on Intelligent Technologies (InTech’2007), pp.60-66, Dec. 2007.
[2]Y. Murai, H. Tatsumi, M. Miyakawa, S. Tokumasu, “Arm Navigation Assisting for the Visually Impaired”, WAC Proc. 6th Int. Forum on Multimedia and Image Processing (IFMIP’2008), No.343, Oct. 2008.
[3]Y. Murai, H. Tatsumi, M. Miyakawa, “Aiding Arm Navigation of a Visually Impaired Person”, Proc. 7th Int. Andrei Ershov Memorial Conf. (PSI’2009), Educational Informatics, pp.1-7, June 2009.
[4]Y. Murai, S. Asaoka, H. Tsuji, H. Tatsumi, S. Tokumasu, “Distance Field Model Concept for Space Representation”, Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol.11, No.10, pp.1241-1249, Dec. 2007.

Arm-navigation assisted by workspace congestion recognition (Part1)― A clock position-based system for aiding the visually impaired ―

TATSUMI Hisayuki1), MIYAKAWA Masahiro2), MURAI Yasuyuki3)

1) Faculty of Health Sciences, Tsukuba University of Technology
2) Tsukuba University of Technology
3) School of Pharmacy, Nihon Pharmaceutical University

Abstract: We propose an arm-navigation system that assists the visually impaired in navigating to a particular object on the table. This is achieved by indicating the “clock position” of the object on the table and simultaneously indicating the velocity of the hand by varying the pitch of a sound signal. We have adopted optical tracking of marks attached both on the hand and objects, instead of scene analysis in order to assist in real-time navigation. The most important aspect in providing such assistance is to help the visually impaired person create a cognitive map of the workspace. Therefore, we have tried to provide spatial information of the workspace that is obtained by using the Distance Field Model (DFM) of space. Degree of congestion on the table is judged by applying a neural network pattern recognizer on the DFM data of the workspace and it is conveyed to the user. The velocity of the hand is determined by a fuzzy control rule that takes into account the current velocity and the distance between the hand and the target.
Key words: Visually impaired, Arm-navigation, Clock position assisting, Distance Field Model (DFM) of space, Congestion recognition