触知の向上による視覚障碍者のオブジェクト認識意識の拡充 巽 久行1），村井保之2），中田一紀3），小林 真1），関田 巌1），宮川正弘1） 筑波技術大学　保健科学部　情報システム学科1） 日本薬科大学　薬学部　医療ビジネス薬科学科2） ＴＤＫ株式会社　市川テクニカルセンター3） 要旨：本研究は，現状の視覚障碍補償技術の制約内で触知手法を向上させることにより，視覚障碍者に環境内の状況等を把握した行動や振る舞いを行わせることを目標にしている。即ち，視覚障碍者自身でオブジェクトの認識が行えるような支援手段を開発することが目的である。一般に，オブジェクトの形状情報は言語化が難しく，例えそれが話し言葉になったとしても，オブジェクトの形状理解を聴覚のような一次元的な伝達で行うのは困難である。それ故に触力覚に頼る全盲者と共創しながら，二次元的ないしは三次元的な認識意識の拡充が必要となる。本報告では，簡易的な２次元や３次元の基本形状を，合成・分割することで生成した擬似オブジェクト形状による触知支援手法を考察する。これらの擬似オブジェクトの提示は，触覚ディスプレイを使用して図形を触れることにより，また，力覚フィードバック装置を使用して形状を感じることにより，全盲者のための理解しやすい認識手段として提供する。 キーワード：視覚障碍，オブジェクト認識支援，触知，擬似形状生成，状況把握 １．はじめに 人が受け取る情報の大部分は視覚経由なので，晴眼者は容易に情報を取得して行動に移すことができる。行動認識（これは学習活動も含まれる）の主たる動機は視覚によるので，弱視者は最後まで残存視力による情報の取得に頼る。全盲者や強度の弱視者は，聴覚や触覚・力覚などを使って間接的な代替情報を取得する。例えば，視覚が未発達な赤ん坊は触ることで情報を取得する。全盲者の歩行等でも縁石に白杖を当てて，その触知情報から環境を知る。 本研究は，晴眼者が視覚で瞬時に把握するオブジェクトを，視覚障碍者（特に全盲者）の触知（触覚による認知）手法を向上させることでオブジェクト認識ができるようにすること，さらには，オブジェクトの状況や形状を理解した上での行動認識や学習活動に展開したい，というのが研究の目標である。近年の情報技術の発達により，文字情報（音声化が可能なテキスト情報等）の伝達は著しく向上しているが，図的情報や形状情報は言語化が難しく，例え言語化されても聴覚による一次元的（線形的）な情報伝達のみでは理解が困難であり，二次元的・三次元的な認知の拡充が必要となる。本報告では，触覚に頼る全盲者と触知手法を共創しながら，簡易的な二次元ないし三次元の基本形状を合成・分割することで生成した擬似オブジェクト形状による新たな触知手法を確立し，行動支援や学習支援を含む様々な視覚障碍補償を考察する[1]。 ２．触知による行動認識 一般に行動認識へのアプローチは，ユビキタスセンシングとウェアラブルセンシングに大別される。前者は環境にセンサを配置して，そこから得られたデータで行動認識を行う。後者はウェアラブル機器を身につけ，オブジェクトへの１人称視点映像から行動認識を行う。例として“料理をする”という行動に対し，鍋に付けたセンサで検知するのがユビキタスセンシングであり，装着したカメラが鍋を探す行為で検知するのがウェアラブルセンシングである。行動認識が推定できれば支援が可能となる。通常，ユビキタスセンシングは時間的・空間的な縛りを有するので，行動認識が限定される（例えば，視覚障碍者が処方された薬にセンサを添付すると，内服という行動に対して探す手間や過誤を防止できるが，その状況下のみで有効である）。 一方，ウェアラブルセンシングは時や場所に自在であるが，オブジェクトを視線追跡できない視覚障碍者には不利である。仮に１人称視点映像を代替的に取得しても，その映像からオブジェクトを理解するのは容易ではないので，視覚障碍者に行動認識を誘起させるには，触知によるオブジェクトの形状伝達は必須である。本研究は，このような背景のもとに新たな触知手法を確立するのが課題の核心をなす問いであり，図形情報の理解を向上させる触指状況の可聴化 [2]も含めて，これまで深く研究されていなかった触知による行動認識への支援を目指している。 ３．オブジェクトの触知化 触知研究として圧倒的に多いのは触地図の作成であり，数学の図やグラフの自動触図作成も研究されている。しかしながら著者等の知る限りでは，環境内のオブジェクトを触知化して形状を伝達するといった研究は殆ど行われていない。その理由として，現状で使用されている触知機器，例えば，触覚で２次元図形を理解する点図ディスプレイ（KGS社製，DotView DV-2等）や，力覚で３次元形状を理解する力覚デバイス（CyberGlove社製，CyberGrasp等）の表現能力では，正確にオブジェクトを認識させるほどの分解能にない点が挙げられる。しかし著者等は触知機器の精度が足りなくとも，この様な形状のオブジェクトが環境内にあると情報伝達できれば，行動認識を誘起させるのは可能であると考えている。触知させたい形状の生成に膨大なデータを使用せずに，単純で基本的な形状のみ（２次元情報として円や四角形など，３次元情報として球や直方体などの典型的なデータのみ）を用意して，それらを組み合せれば（和集合，積集合，差集合などの基本演算を施して擬似的な複合オブジェクトが生成できれば）良い。現状の触知機器の精度は高くなく，また，手指による触知能力も低いので，対象となるオブジェクトの生成は擬似的な形状で充分である。オブジェクトを触知する際の，表示要求に応じた拡大・縮小等の変化に対して触知機器に適した複合オブジェクトの生成が可能なことが重要である（実時間的にも実行可能な記憶容量の点でも大切である）。 環境を知ることに留まらず知識を学ぶ上でも，オブジェクトの形体認知を行えるか否かは様々な状況把握や学習行為を左右する。本研究は，図的情報や形状情報の理解を視覚障碍者等と共創しながら触知センシング手法を向上させること，さらには，行動認識や学習活動を含んだ視覚障碍支援への応用を試みることにある。将来，ウェアラブルセンシングの発達に伴って，晴眼者と視覚障碍者との間の情報獲得格差は圧倒的に広がると予想される。ウェアラブルカメラが追うオブジェクトを画像認識した結果，リモコンと判定した場合は “テレビを見る”という行動認識を推定し，テレビの操作に関する支援を行うといったような未来も間近に迫っている。しかし，行動支援を痛切に必要とする状況に置かれているのは視覚障碍者であるが，現状では支援のきっかけとなる行動認識の研究が殆どなされていない。これを打開するのが本研究であり，様々な視覚障碍支援に応用することができる。“旅程を計る”という行動で，例えば北海道の形状知識がないと，移動に要する時間も理解できず，また，“器官を学ぶ”という学習で，例えば胃腸の形状認識がないと，消化の仕組みも理解できない。理解したいオブジェクトが，実体か仮想体かに関わらず，また，接触可能か否かに関わらず，図的情報や形状情報を理解するための触知認識センシングが行えること，さらに，その触知結果を視覚障碍者の行動認識に利用することは学術的にも大いに意義のある研究であり，福祉工学の分野だけでなく認知科学の分野に対しても充分な特色を持つ。本研究で使用を予定している触知機器は汎用的ではなく，また，携帯できるものでもないが，触覚を感じる液晶パネルや力覚を感じる繊維などの新しい技術が生まれているので，視覚障碍者に行動認識を起こさせることは非現実的な問題ではない。 ４．擬似オブジェクトの形状生成 現状の視覚障碍補償技術が有しているハードウェアの制約内で，ソフトウェア的に触知手法を向上させることで視覚障碍者自身がオブジェクト認識を行えるような支援手段を開発するために，本節では擬似オブジェクトの形状生成について言及する。 図１に，２次元複合オブジェクトの形状生成過程の例を示す。触知するオブジェクトの形状はすべて基本的なオブジェクトからの複合オブジェクトとする。その理由として形状生成における計算機の動作速度やメモリ消費の利点だけでなく，使用している触知機器の能力に沿った仕様に合わせやすいことにある（図１では，基本的な図形である円 Aと四角形 Bを合成し，基本的な演算を施しながらG1やG2のような複合オブジェクトを生成している）。図２に示すように，オブジェクトの生成における基本形状や基本演算の適用は，オブジェクト指向の考えに基づいて設計できるので，クラス概念やメッセージ通信に基づく拡張性のあるシステムとなる。 図1　複合オブジェクトの形状生成過程 図2　基本形状や基本演算の適用 図３は，３次元複合オブジェクトの形状生成例を示す。これは，立方体 Aと球 Bを用いた和集合（A∪B）および差集合（A－B）からなる擬似オブジェクトである。また，擬似オブジェクトのデータ構造は，２次元図形を四分木（Quad tree）で，３次元形状は八分木（Oct tree）で管理し，複合オブジェクトを触知機器で提示する際は，表示要求に応じた拡大・縮小時の分解能に適応できるようにしている。図４に，図３内の差集合領域における四分木法と八分木法での領域判定を示す。同図において，白は内セル，濃い網掛けは外セル，薄い網掛けは未定セルを表しており，表示精度によるデータ領域の細分化や統合化がそれぞれ可能である（擬似オブジェクトの触知の際に，表示を拡大する場合は細分化を，縮小する場合は統合化を，それぞれ図る）。 複合オブジェクトの形状生成については，既に，距離場空間モデルと呼ばれる空間表現法が提案されており，その手法を用いて形状生成やモデリングを行っている[3～6]。 （a）和集合A∪B　　　（b）差集合A－B 図3　複合オブジェクトの例 （a）四分木（Quad tree）　（b）八分木（Oct tree） 図4　オブジェクト領域のデータ構造 ５．擬似オブジェクトの触知手法 本節では全盲者の触知を向上させる触知手法の概要を述べるが，それは三つの段階に分割される。図５に開発を目指すシステムの全体像を示す。最初に，第一段階は触知手法の中心である擬似オブジェクトの形状生成であり，これは図的情報の構成と形状情報の構成の，二つから成っている（図５内の中央部分）。 図5　システムの全体像 次に，第二段階はオブジェクトの形状伝達であり，触覚提示手法と力覚提示手法の作成である（図５内の右側部分）。提示の際における触指状況は，可能ならば可聴化（テキスト情報への落とし込み）を行う。最後に，第三段階は環境内にあるオブジェクトの取得であり，これにはオブジェクトの探索・認識・形状抽出・学習／照合などから成るが，これらはパターン認識の既存方法や商用サービスを利用する（図５内の左側部分）。 図６に，環境内にあるオブジェクトを取得している実験の様子を示す。環境内のオブジェクトは遠隔用テレプレゼンスロボット（Double Robotics社製，Double）が iPadで写したもので，その画像は PCに転送される。図７は，環境内の扇風機（同図（a）の元画像）を，オブジェクトとして検出（同図（b）の検出画像）した後にエッジ処理を施したもの（同図（c）のエッジ画像）である。 図6　環境内のオブジェクト取得実験 （a）元画像　　　（b）検出画像　　（c）エッジ画像 図7　オブジェクト（扇風機）の画像（a）触覚提示（図的情報）　（b）力覚提示（形状情報） 図8　擬似オブジェクトの形状伝達 図9　オブジェクトの形状判定 （a）実際のオブジェクト　　（b）擬似のオブジェクト図10　触指状況（扇風機頭部）の追跡比較 触知への一連の流れは，カメラ等でオブジェクトを取得し，距離場空間モデルを用いて基本形状から生成した複合オブジェクトの候補を生成して，２次元の触知情報（PC画面をDV-2の G-Viewで触覚化）および３次元の触知情報（複合オブジェクトをOpenGLで描画して CyberGraspのVirtualHand SDKで力覚化）を，それぞれ提示する。 環境内にあるオブジェクトを取得した結果，それが扇風機であると判断されると，その距離場データをもとに擬似オブジェクトの生成を行う。図８は，扇風機を基本形状（２次元情報は円と細い方形，３次元情報は球と細い円柱）と基本演算（和集合）から生成した擬似オブジェクトである。ここで，同図 (a)は点図ディスプレイ（DotView DV-2）で擬似オブジェクトを表示したもので，同図 (b)は力覚フィードバックデバイス（CyberGrasp）を制御しているPCでそれを表示したものである。なお，点図ディスプレイの触知は PC上の描画になるが，力覚フィードバックデバイスの触知は PC内にOpenGLで形状を作成し，その仮想形状に仮想手が触れると手指に力覚が伝達される。 図９は，扇風機の頭の部分の形状分析であり，球の一部で代替可能としている。図 10は，該当形状に対する実際と擬似の各オブジェクトにおける触指軌跡の比較である。これより，現状の擬似オブジェクトの生成状態では，実際のオブジェクトの形状を上手く表現できていないので見直しが必要である。しかしながら，環境内の状況によっては，同一のオブジェクトでも取得データ量は大きく変化するので，難しい問題を含んでいる。 ６．まとめ 環境内にあるオブジェクトの図的情報や形状情報が触知できれば，（音声による情報伝達が困難でも）行動認識の誘起を可能とする状況が作り出せると考えている。即ち，視覚障碍向けの触知可能なオブジェクトセンシング手法が構築できれば，様々な補償支援への展開が期待できる。 謝辞 日頃ご指導をいただく神奈川工科大学名誉教授の徳増眞司先生に深謝いたします。本研究は平成 30年度科研費18H03656（触知の向上による視覚障碍者のオブジェクト認識意識の拡充）の助成を受けて行われている。ここに深く謝意を表する。 参照文献 [1]巽久行，村井保之，関田巌，他．視知や触知の向上による視覚障碍者のオブジェクト認識支援．ヒューマンインタフェースシンポジウム（HIS2017）講演論文集． 2017; 7A1-4: p.775-778． [2] Murai Y, Tatsumi H, Miyakawa M． Recording of fingertip position on tactile picture by the visually impaired and analysis of tactile information． Springer LNCS 10897 (Proc. 16th Int. Conf. on Computers Helping People with Special Needs,ICCHP2018), Part2．2018; p.201-208． [3] Murai Y, Asaoka S, Tsuji H, et al． DistanceField Model Concept for Space Representation． Journal of Advanced Computational Intelligenceand Intelligent Informatics (JACIII)． 2007; 11(10):p.1241-1249． [4]徳増眞司，巽久行，村井保之，他．距離場空間モデルによる汎オフセット概念とその応用．情報処理学会論文誌．2001; 42(1): p.26-37． [5]田中潤，舘原啓介，巽久行，他．空間表現のためのオブジェクト指向プログラミング．情報処理学会第 57回全国大会論文集．1998; 3N-7: p.121-122． [6]舘原啓介，田中潤，巽久行，他．オブジェクト表現による複雑な物体形状の生成．情報処理学会第 57回全国大会論文集．1998; 3N-8: p.123-124． Extending Object Recognition Awareness of the Visually Impaired by Giving Improved Haptic Support TATSUMI Hisayuki1), MURAI Yasuyuki2), NAKADA Kazuki3), KOBAYASHI Makoto1), SEKITA Iwao1), MIYAKAWA Masahiro1) 1)Department of Computer Science, Faculty of Health Sciences, Tsukuba University of Technology 2)Department of Pharmaceutical Medical Business Sciences, School of Pharmacy, Nihon Pharmaceutical University 3)Technical Center in Ichikawa, TDK Corporation Abstract: This research aims to make visually impaired individuals perform actions and behaviors that reflect their understanding of the situation in the environment by improving their haptic perception within the constraints of the current visual impairment compensation technology. In other words, it aims to develop supporting means that enables visually impaired individuals to recognize objects themselves. In general, the shape information of objects is difficult to verbalize. Even if it is transformed to spoken words, it is difficult to understand the shape of an object with a one-dimensional transmission through hearing. Therefore, it is necessary to expand context awareness into two- or three-dimensions while collaborating with blind individuals who rely on haptic sensation. In this report, we consider support methods with haptic sensing based on a pseudo object shape generated by synthesizing and dividing simple two- or three-dimensional basic shapes. The presentation of these pseudo objects facilitates recognition of objects for the visually-impaired by touching two-dimensional figures with a tactile display and feeling three-dimensional shapes with a force-feedback device. Keywords: Visual impairment, Object recognition support, Haptic sensing, Generating pseudo shape, Context awareness