音とベクトルによる図形学習のための形状認識方法について 筑波技術大学　保健科学部　情報システム学科 大西 淳児　小宮 厚一　小野 束 要旨：一般に、視覚に障害がある人の図形学習物体において、触図を用いた教材を用いる。しかし、触図は指先から得られる触感覚から図形の形状を組み立てることが必要になることから、図形全体の形状を理解することは容易ではない。また、形状を認知する際に、触感覚による情報で判断しているため、図形の物理形状に関する数学的な理解が欠けることもありうる。つまり、触感覚という感覚的な情報だけで形状を認識して、物理的な構造上の概念が独自の判断によって作られてしまい、実際の形状とギャップが生じている可能性がある。そこで、この報告では、実態の図形形状を理解するための一助として、ベクトル要素と音を使った輪郭形状を認識する方法を提案する。 キーワード：視覚障害，図形認識，数学教育 1．はじめに 　全盲という障害があるがために、数学を学習する上で最も大きな障壁となるのは、図形の特徴や関数のグラフを正確に読み取ることが極めて困難であることである。そこで、視覚に代わる方法として、触覚や聴覚を使用する方法を用いる。特に、触覚を用いて図形などの情報を伝える方法は、一般に多く利用される[1][2]。この触覚による図形の認識は、晴眼者が視覚情報から認識するプロセスと異なり、触覚による図形形状の認識機構との違いは不明な点が多い。晴眼者は視覚情報を通して学習した経験によって、図形の形状を理解することができる一方、触覚による学習では、あくまでも触った感覚での学習で理解することになる。この触知覚においては、以下の3つの能力が重要と言われている。 1.触覚の弁別能力 2.手の動かし方 3.全体のイメージを組み立てる能力 　特に、全盲の人にとっては、2項と3項の要件について、相当な訓練を要する。 　晴眼者の場合は、手指のスムーズな動かし方や触知覚の能力を視覚との協応によって学習していく。ところが、全盲の人の場合、視覚情報のない状態となるため、手指を水平に動かすとか輪郭に沿って動かすなどの全体をイメージするような学習が極めて困難となっている。 　一方、言葉の面において、全盲の障害がある場合、言葉の持つ具体的な意味や機能的な意味を理解しないで、言葉や概念を文字や音声の上だけで表面的に理解しているといったバーバリズムの問題が指摘されている[3]。この問題は、晴眼者においても、言語の習得過程で見られる現象ではあるが、視覚が活用できない場合、耳や触感覚から入る情報だけで独自のイメージを膨らませ、そのイメージが実態とギャップを伴うことも考えられる。このイメージを膨らませる能力は評価すべき点であるが、実態に見合ったイメージになるように補足的な情報を補う方法は必要であろう。 　このような観点から、視覚に障害をもつ学生に対しての算数、数学の教材開発についての検討が報告されている[4]。この報告では、特に、言葉の一人歩きする状態が数学を指導する上で大きな問題であると指摘している。図形やグラフの形状については、経験に基づくものを連想させるような表現を用いることで、図形の形状をイメージさせるなどの主にことばによる説明に工夫をすることで、正しい理解ができるような教材を開発するなどの検討がされている。また、触覚教材を利用する場合においても、単に点図などで形状を提示するのではなく、頂点と辺のつながりを理解できるように、たとえば、頂点を押しピンでとめて、辺を輪ゴムで結ばせるような作業を通して、図形形状を正しく理解できるように工夫するなどの方法を使うものもある[5]。 　これらの報告にあるように、点図などの教材のみによって、図形の形状を正しく理解させるのは、困難であることが分かる。そこで、この報告では、触覚による教材に加えて、形状を理解させる方法として、図形の形状をチェーンコードによってベクトル分解し、ベクトル成分を音で伝えることによって図形形状を認識する方法を試みる。 2．チェーンコード 　チェーンコードとは、2次元図形を計算機内で表現・記憶するために、図形の輪郭について8向の線分に分解・近似し、各線分に付したコード番号の列で図形形状を表す方法である。チェーンコードには、図形の特徴に関する情報が含まれており、図形の形状認識に利用できると考えられる[6]。 　図１は、8方向のチェーンコードを表したものである。チェーンコードは、この図のように、8方向のベクトル成分を示したもので、このベクトルのつながりをコード情報として図形の形状を表現するものである。図2は、チェーンコードを使って、正方形を表現した例である。この例の場合、正方形は、１、２、３、４という4つのコードによって、形状を表現することになる。一般に、このチェーンコードは、コンピュータ内に取り込まれた図形画像などをピクセル毎に表現されるため、図形の詳細な形状を画素単位で表現することができる。このとき、画像の形状は画像の解像度に依存した精度で形状判定ができる。 　そこで、この報告では、このチェーンコードを音に対応させることで、ベクトルの示す方向成分を視覚に障害のある人に提示し、図形の形状を正しく認識可能であるか検討を行う。 3．チェーンコードを音に対応させる方法 　この報告で提案する方法では、直接、チェーンコードの番号を点字などで提示するといった方法も考えられるが、より直感的に素早く認識できるよう、音を利用してチェーンコードの情報を伝えることにした。 　チェーンコードは、8方向の分類がされるため、音で情報を伝える場合、8種類の音を用意して、コード番号を音のインデックスで割り当てることを考えてみる。一般に、音のインデックスを割り当てる場合、電話機で利用されているDTMF 音や音楽で利用するドレミファソラシドの鍵盤音を割り当てるなどの方法が考えられる。どの音を利用するかは、多くの実験を通して比較する必要性があるが、この研究に協力をしていただいた視覚に障害のある方にアンケートしたところ、鍵盤音が音の聞き分けが容易であると言う結果を得たため、鍵盤をインデックスに割り当てることとした。 　一方、図形形状をコンピュータ処理して、チェーンコードを鍵盤音によって表現する方法は、一般的にMIDIを使うことが容易であると考えられる。このMIDI の大きな特徴のひとつに、様々な楽器音を作成できる点が挙げられる。MIDIで作成されたデータは、あくまでも楽譜のデータであって、この楽譜をどういう楽器で演奏するかは、自由に設定が可能である。被験者が最も聴き分けが可能な楽器を選択させることで、チェーンコードの区別を容易にすることが可能であると思われる。 　そこで、提案する方法では、チェーンコードを図３に示すような楽譜音に割り当てることにした。 図1　８方向のチェーンコード 図2　チェーンコードによる図形描画 図3　チェーンコードの楽譜音への対応付け 4．実験 　提案する手法の有効性を確認するため、第3節で述べた方法により、図形画像をチェーンコードに対応するMIDIメッセージで表現し、以下のような図形形状を認識する実験を行った。なお、チェーンコードの表すベクトルの長さを4cm、1つのMIDI音の演奏時間を単位長あたり1秒とした。 1. チェーンコードの理解試験 2. チェーンコードを用いた図形描画 3. MIDI音の聴取による図形形状認識 4.1　チェーンコードの理解試験 　提案する手法が有効に利用されるには、まず、被験者がチェーンコードを表す音とチェーンコードの意味を正しく理解することが最も重要である。そこで、被験者にチェーンコードを用いた図形の輪郭情報の描画について説明し、各コード番号に対応付けたMIDIメッセージを数回聴取してもらった。その際、各楽器音で作成したコード音を聴取してもらい被験者が聴取し易い楽器音を選択する。以上の準備のもと、上下左右の4方向のコードのみの場合と8方向の場合の2種類の試験を用意し、各コード音をランダムに5回聴取することで聴取した音信号が何番のコード番号に相当するか回答してもらった。4方向のコードは、8方向のコード番号を学習する前に、半分の4方向を学習することで被験者の8方向のチェーンコードの学習への負担を減らすために用意した。このとき、4方向のみの試験では20問、8方向の試験では40問を一回の試験とした。表1及び表2は、この実験をした結果を示したものである。この結果から、全盲と弱視の被験者間で正答率が異なる結果となっていることが分かる。特に弱視の被験者は、8方向のチェーンコードを用いた理解試験の正答率にかなりばらつきが生じるなどの特徴が見られた。このことから、チェーンコードの各コード番号に対応するMIDIメッセージの鍵盤音を数回の聴取によって完全に覚えることは難しく、鍵盤音の数が多くなるほどより反復的な学習が必要だということが分かる。また、チェーンコードに対応付けたMIDIメッセージの認識試験について、全盲の被験者が弱視の被験者に対して正答率が高い傾向が見られた。これは全盲の被験者に比べて弱視の被験者は日常的に視覚を用いているが、逆に、全盲の被験者は、日常的に音から情報を多く取り込む経験から、鍵盤音を早く正確に判断できたのではないかと推測される。 4.2　図形描画試験 　図形の形状をイメージして、提案する方法で図形が描画することが可能であるか試験を行った。試験内容は、まず、問題としてことばで提示した図形を被験者にチェーンコードを用いて口頭でコード番号を並べさせるものとし、以下の問題を与えた。 1.縦の辺の長さが2、横の辺の長さが1の縦に長い長方形 2.各辺の長さがそれぞれ1の左に傾斜した平行四辺形 3.各辺の長さがそれぞれ1のひし形 4.上底と下底の長さそれぞれ1と3の台形 　表３は、被験者毎の正解数、正答率及び間違った図形を示したものである。この表から、全盲の被験者はどちらも台形と平行四辺形を描画することができず、逆に弱視の被験者は概ねどの図形も描画出来ている。これは、弱視の被験者は視覚を用いて提示した図形を学習した経験があるため、実態の図形形状をイメージできるからであると考えられる。逆に、全盲の被験者はどちらも先天的に全盲の状態であるため、触覚を用いた図形認識の学習はおこなっていてもその図形を心的表象としてイメージしながら描画することが難しいと思われる。これは、第1節での解説した言葉のバーバリズムとにた影響が起きていると推測される。被験者からの意見を聴取してみると、全盲の被験者からは、斜めの線をもつ図形になると、触覚を用いた図形認識の学習では難しく描画する際に心的表象としてイメージするのが難しく戸惑ったという意見があり、実態の形状のイメージが困難であるという現状が分かる。 4.3　音による図形形状認識試験 　提案手法が図形の形状認識にどの程度の効果があるか調べるため、図形の輪郭情報をチェーンコードのコード番号に変換し、それを対応するMIDIメッセージによって音信号へ変換したものを被験者にランダムに聴取してもらい、聴取したMIDIメッセージからどのような図形か回答する試験を行った。 　実験で使用した図形は、以下のものを用いた。 1.横の長さ2、縦の長さ1の横長の長方形 2.各辺の長さが1の正方形 3.各辺の長さが1のひし形 4.各辺の長さが1の平行四辺形 5.上底と下底の長さがそれぞれ1と3、左右の斜辺の傾きが45度の台形 6.複合図形である家の形をした五角形 図４にこれらの図形のイメージの例を示しておく。 　また、それぞれの図形のチェーンコードの始点を左上、ひし形については左側としてそれぞれ時計回りにコード番号を用いることとした。 　表４は、被験者ごとの正答数、正答率及び間違えた図形を示した。この結果から、全盲と弱視の被験者ともに台形、長方形の間違いが多い結果となった。その理由は、全盲については、傾きの直線のイメージが正しく形成されていないこと、弱視については、チェーンコードの音からベクトルの持つ方向のイメージの対応付けの学習が十分でないために、形状のイメージができにくいのが原因と思われる。 4.4　提案手法に関する意見結果 　提案手法が被験者にとってどのような有効性があるか参考にするため、アンケートを行った。表５は、その結果である。 　また、被験者からの意見から、チェーンコードの各コード番号に対応付けたMIDIメッセージを数回聴取しただけでは完全に覚えることができず、混乱してしまうといった意見が散見された。チェーンコードを用いた図形の描画について、全盲の視覚障害者が図形を描画することは非常に難しかったが、視覚障害者が音によって、図形の輪郭形状や大きさを認識しながら描画できることは非常に有難く・興味深いという意見があり、弱視の被験者からも、特に視野の欠損が激しい場合に図形画像を認識するうえで非常に大きな助けとなるといった意見が得られた。 　このような意見が出た理由は、チェーンコードは各コード番号が方向成分をもっているため、各コード番号に対して長さを指定することで、触図覧で提示される図形画像の認識異なった感覚による図形形状のイメージ形成ができるためであると思われる。 　一方、音と形状の対応と理解に関しては、触図認知と同様にある程度の学習を行えば、図形形状を認識することは可能であるという意見があった。 　このことから、チェーンコードによる画像認識手法を用いて画像を認識するには、適度な学習を要することが重要であるということがわかった。 表1　4方向チェーンコード理解試験の正答率 表2　8方向チェーンコード理解試験の正答率 表3　チェーンコードを用いた図形描画試験 図4　テスト画像の例 表4　チェーンコードを用いた図形描画試験 表5　アンケート結果 5．まとめ 　この報告では、図形の形状を表すチェーンコードをMIDIメッセージによる楽譜音で提示することによって、図形形状の認識試験を行い、視覚に障害のある人が図形形状学習する方法の検討を行った。その結果、被験者に対してチェーンコードに対応させたMIDIメッセージを数回聴取させることで図形の形状や大きさの違いをある程度認識することが可能であることが分かった。また、触認知と同様にチェーンコードを用いた図形認識においてもチェーンコードのコード番号及び各コード番号に対応付けした音信号の理解に一定の学習を必要とすることが分かった。 　一方、チェーンコードの各コード番号の方向成分や対応付けた音信号を学習することで、特に、全盲の人にとっては、触認知で得られる経験とは別に図形の形状を得るための指標として学習することができるため、算数や数学での図形学習や関数グラフの理解などに応用することが可能であると考える。さらに、提示された図形画像の大きさや輪郭形状の違いを視覚障害者自身が認識できる点から、様々な応用例が考えられる。たとえば、Web閲覧において提示された図形画像において、alt属性に書かれた図形画像の状態をテキスト情報や音声読み上げソフトを用いて認識することが一般的であるが、そこに、チェーンコードを用いた図形の輪郭情報を提案する方法を利用してチェーンコード情報をalt属性やテキスト情報などに追記することによって、触覚ディスプレイと融合してこの手法を利用することで、視覚障害者により正しい図形形状をイメージさせることが可能であると思われる。 　今回の検討では、正しい図形形状を認識するためには、提案手法の基本となるベクトル成分の意味とそれを表す音との対応について、より正しい理解が必要であるということが分かった。今後は、ベクトルと音の対応をより効果的に学習するための方法について検討をしていく予定である。 謝辞 　本研究は科学研究費（21531009）及び、筑波技術大学競争的研究資金の支援のもとで実施した。また、実験に際しては、筑波技術大学保健科学部情報システム学科学生の協力と有用な参考意見を頂いた。あわせて感謝申し上げたい。 参考文献 [1] 渡辺 哲也，久米 祐一郎，伊福部 達:触覚マウスによる図形情報の識別，映像情報学会誌, Vol.54, No.6, pp.840-847, June 2000. [2] 小林 真：触覚ディスプレイによる視覚障害者用エンタテインメントシステム，日本知能情報ファジィ学会誌16（6）, 492-497, 2004-12-15． [3] 高橋 智：インクルージョン時代の障害理解と生涯発達支援，日本文化科学社，2007． [4] http://www.saga-ed.jp/chouken/chouken_report/h11/pdf/011.pdf [5] http://www50.ishikawa-c.ed.jp/tashikana/2007jirei /07e06/07e06.pdf ，2010年 [6] 水本 洋，藪田 義人，則皮 基宏，暢志軍：チェーンコードで表現された図形の形状認識，情報処理学会全国大会講演論文集 第47回平成5年後期（2）, 139-140, 1993． Pattern Recognition Learning by Auditory Labels Based on the Contour Chain Code for People with Visual Impairment ONISHI Junji, KOMIYA Koichi, ONO Tsukasa Department of Computer Science, Faculty of Health Science, Tsukuba University of Technology Abstract: The tactile devices are commonly used for pattern recognition learning for the people with visual Impairment. However, However, it is difficult for them to recognize the detailed and mathematical shape of objects by using these tactile devices. The main issue is to gain the understanding of correct shape of object for the reconstruction of the object based on the feedbacks of tactile devices. In addition, people with visual impairment have less chance to know the visual images. Thus, they have their own sense of understanding for the shape of object gained from the tactile experiences, and they are not sure if it is a real shape of object. To solve this problem, we propose the pattern recognition by auditory labels based on the contour chain code. With a Freeman chain, a shape of objects is represented as a sequence of steps in one of eight directions; each step is designated by an integer from 0 to 7. Our proposed method takes advantage of a Freeman chain code in order to present the detailed shape of objects. This report described effectiveness of our proposed method and its experimental results for the purpose of support mathematic education. Keywords: Visually Impaired, Pattern Recognition, Mathematics Education