聴覚障害者のためのビジュアルフィードバックを用いた学習システムの検討

筑波技術大学 産業技術学部 産業情報学科

木下 徹 加藤 伸子

要旨：本研究では、聴覚障害者のためのビジュアルフィードバックを用いた学習システムとして、スポーツトレーニングのための学習システムの検討を行った。これは、平泳ぎの上半身の動作を題材として、２台のカメラ映像より動作解析を行い、フォームのポイントについての判定結果を図解して提示するものである。提案システムの概要と評価実験の結果について述べる。
キーワード：聴覚障害，運動解析，学習支援

１．はじめに
　運動などの身体動作を伴う学習においては、動作時に指導者から改善点等を指摘することでフィードバックを繰り返すことが多い。その時のコミュニケーションは、言葉によるものであり、聴覚障害者にとっては把握が困難である。特に水泳などの補聴器を外すスポーツの場合はなおさらである。そのため、聴覚障害者に適切なビジュアルフィードバックを行うシステムの開発が必要である。そのため本研究では、ビジュアルフィードバックを用いた学習システムとして、スポーツトレーニングのためのシステムの検討を行うものである。
　これまでの研究では、装着型のセンサやモーションキャプチャーを行うシステム等を用いて手足の運動を解析し、ゴルフや水泳の運動解析を行うシステムが提案されている[1][2]。これらの研究に対して本研究では、聴覚障害者が様々な場面で手軽に利用できるシステムとして、「可搬可能」、「自身の動作のデータをその場で見ることができる」、「説明を字幕と図解で提示する」という３つの特徴を持つシステムを検討している。
　本稿では、提案システムの概要と実際に試作したシステムを用いて評価実験を行った結果について述べる。
2．提案システム
2.1 提案システムの概要
提案システムの構成は以下のとおりである(図１参照)。
•ノートパソコンと前カメラ、横カメラの２台のWebカメラを用いて、被験者を前と横から同時に撮影する。
•被験者に提示する映像として、「見本の図解動画（横カメラ）」と「見本の図解動画（前カメラ）」と「被験者の図解動画（横カメラ）」と「被験者の図解動画（前カメラ）」の４つの動画を表示する。
•字幕でフォームに対する説明を提示するものとし、上段の字幕は横から見た時のフォームの説明、下段の字幕は前から見た時のフォームの説明を表示する。
2.2　処理の流れ
　OpenCVを用いて、水泳の平泳ぎの上半身の動きを判定するプログラムを作成した。判定基準を以下に示す。
（1）手をかき始めるとき、手首の点の位置が肘の点の位置より下かどうか（横カメラ）。
（2）最後まで手をかいたとき、肘の点の位置が体のラインを越えていないか（横カメラ）。
（3）手をかき終わって腕を真っ直ぐに伸ばしているか（横カメラ、前カメラ）。
（4）手をかき始めるとき、手首の点の位置が肩の点の位置より広がっていて、かつ、親指の点の位置が手首の点の位置より下にあるか（前カメラ）。
（5）最後まで手をかいたとき、肘から手までの腕が内側を向いているか（前カメラ）。
　これらの判定基準は、平泳ぎの上半身の動きについて、水泳の指導書[3]～[12]に共通するポイントを抽出したものである。
　今回試作したシステムの処理は以下の３つのフェーズにわけることができる。
（1）撮影：２台のWebカメラを用いて被験者の運動を撮影する。
（2）映像解析：撮影した動画像を解析し、特徴点を追跡し特徴点の位置に基づき判定を行う。判定結果のマーカーを動画上に描画し図解動画を作成すると共に、フレーム数、判定結果をファイルに記録する。
（3）４画面表示：見本と被験者（前カメラと横カメラ）の図解動画と被験者の判定結果を４画面で同期をとって表示をする。
　処理の流れを図２に、本システムを用いて解析を行い判定結果のマーカーをどう画像に描画した例を図３、図４に示す。判定が良の場合には、マーカーや線を青で提示し、それ以外の場合は、赤で提示する。

図1　提案システムの提示画面
図2　処理の流れ
図3　図解の例（前カメラ）
図4　図解の例（横カメラ）

3．実験方法
3.1　実験の概要
　試作システムを用いて、評価実験を行った。実験は以下の条件で行った。
•被験者：聴覚障害学生10人
•動作：カメラ２台に対して映るように、平泳ぎの上半身の動きを３ストローク行う。

　結果の提示方法は、
[A]自分の動画と見本の動画を順に提示
[B]提案システムを提示の２つを比較するものとする。１人の被験者に対して、実験は以下の順に行った。
1.見本の動画を提示
【１回目】
2.被験者の動作撮影
3.結果の提示(1)
4.被験者の動作撮影
5. 結果の提示(1)
6.アンケートへの記入
【２回目】
7.被験者の動作撮影
8.結果の提示(2)
9.被験者の動作撮影
10.結果の提示(2)
11.アンケートへの記入
被験者を２グループにわけ、結果の提示については、グループ１(G１：)結果の提示(1)で[A]、結果の提示(2)で[B]グループ2(G２：)結果の提示(1)で[B]、結果の提示(2)で[A]とし、各グループ５人で実験を行った。
3.2　アンケート
　結果の提示として[A]を提示した場合のアンケートの内容は以下のとおりである。
Q1.自分で平泳ぎのフォームが変わっていると実感出来ましたか？
Q2.聴覚障害者にとって, このようなシステムはフォーム改善に役立つと思いますか？
Q3.このシステムで役に立ったと思うのはどこでしたか？
・動画（自分）（図解なし）
・動画（見本）（図解なし）
[B]を提示した場合のアンケートは、Q1, Q2は[A]と同じ質問とし、Q3を以下のとおりとした。
Q3. このシステムで役に立ったと思うのはどこでしたか？
・動画（自分）（図解なし）
・動画（見本）（図解なし）
・動画（自分）（図解あり）
・動画（見本）（図解あり）
・字幕Q1からQ3は、1：非常にそう思わない、4：どちらでもない、7：非常にそう思う、の７段階で回答してもらった。
また、実験の最後に、次の質問を加えている。
Q4.１回目と２回目ではどちらが分かりやすかったですか？（1：１回目が非常にわかりやすかった、4：どちらでもない、7：２回目が非常にわかりやすかった、の７段階で回答）

4. 実験結果
4.1　提案システムを用いた解析結果
　実験において、１回の動作撮影ごとに、判定基準に成功すると１点、失敗すると０点として、ポイントを集計した。判定基準は6個あるため、最高6点となる。４回の動作撮影における10人のポイントの平均値の変化を図5に示す。
　本システムにおける判定結果と、人が映像を見て判断した結果には矛盾がなく、提案システムの自動的に判定する方法は実現されていると考えられる。
　図5のポイントの変化を見ると、１回目から平均点が高く、その後変化がないことがわかる。これは、最初の見本の動画提示で、基本動作がある程度把握できたためと、３ストロークの間に１回でも判定基準を超えると１点としたためと考えられる。
　特に判定基準(2)において、大きな差が見られたため、この部分のポイントを以下のように詳細化した。
・肘の点が体のラインを越えていない場合：２点
・肘の点が体のラインを越えて一定範囲内の場合：１点
・肘の点が体のラインを一定範囲以上越えている場合：0点
　3ストロークの合計ポイントとし、10人の平均値の変化を図6に示す。1, 2回目に提案システムである[B]の結果提示を行ったグループ1は、結果提示後の2, 3回目の平均値が上昇している。一方、1, 2回目に[A]の結果提示を行ったグループ2では点数の上昇が見られなかった。
　これは、見本の動画を見ただけでは動作のポイントが把握しにくかった点について、自分の動作をその場で図解し字幕で説明するフィードバックに、一定の効果があったためと推測される。
4.2　アンケート結果
　アンケート結果を図7に示す。これは、[A]を提示後の評価値と[B]を提示後の評価値の10人の平均と標準偏差を示したものである。Q1、Q2の評価値は共に高く、聴覚障害者にとって、自分の動作をビジュアルにフィードバックする手法についての評価が高いことがわかる。
　Q3で[A]を提示したあとの評価では、図解なしの動画の評価が高いが、[B]を提示したあとの評価では、図解なしの動画に比べて、図解ありの動画の評価が高い傾向が見られた。

図5　ポイントの平均値
図6　判定基準(2)のポイントの平均値
図7　アンケート結果

５．終わりに
　聴覚障害者のためのビジュアルフィードバックを用いた学習システムとして、スポーツトレーニングのための学習システムの検討を行った。実際に平泳ぎの上半身の動作の映像を解析し、判定結果を図解と字幕で提示するシステムを試作し、評価実験を行った。評価実験の結果から自分の動作をその場で図解し字幕で説明するフィードバックに、一定の効果があったと考えられる。今後、フィードバックの方法、実験方法等について検討を重ね、より使いやすいシステムを検討する予定である。
参考文献
[1] 穂苅，土岐，永作：ゴルフドライバースイングにおけるコック運動計測（ゴルフ（2）），ジョイント・シンポジウム講演論文集:スポーツ工学シンポジウム:シンポジウム：ヒューマン・ダイナミックス: symposium on sports engineering : symposium on human dynamics: 173-176, 2004.
[2] 中島，仰木，秋山，風見：手首装着型加速度・角速度センサを用いた競泳トレーニング用泳動作表示システムの開発（水泳），ジョイント・シンポジウム講演論文集:スポーツ工学シンポジウム:シンポジウム：ヒューマン・ダイナミックス: symposium on sports engineering:symposium on human dynamics: 200-203, 2007.
[3] 青野 耕一ら49人：水泳指導教本，株式会社大修館書店，初版第１刷, 2002.
[4] 日本野外教育研究会：水泳の指導，株式会社杏林書院，第一版第一刷，1990.
[5] 成美堂出版：トップスイマーに学ぶ4泳法が楽しく上達するテクニック: 萩原智子の水泳上達レッスン，成美堂出版，2006.
[6] 下山 好充：きれいな4泳法がだれでも泳げる!：クセのない美しい泳ぎ方を身に付ければ、水泳はもっと楽しくなる，日本文芸社，2006.
[7] アーデルスイミングクラブ：基本からしっかり覚える水泳，西東社，2005.
[8] 小松原 真紀／監修：４泳法をマスターする！水泳練習メニュー200，池田書店，2010.
[9] 藤森 善弘：2軸4泳法完全マスターBOOK: 泳ぎはもっと進化する, 毎日コミュニケーションズ，2009.
[10] 岩崎 恭子：岩崎 恭子のゆっくりきれいに平泳ぎ，学習研究社，2005.
[11] 高橋 雄介：平泳ぎが速くきれいに泳げるようになる！，高橋書店，2007.
[12] 成美堂出版編集部：日本一わかりやすい水泳の教科，成美堂出版，2008.

Basic Study of the Learning System using Visual Feedback for a Hearing-Impaired Person in Higher Education

KINOSHITA Toru, KATO Nobuko

Department of Industrial Information, Faculty of Industrial Technology Tsukuba University of Technology
Abstract: In this paper, we will propose a learning system that uses visual feedback for a hearing-impaired person. This system processes images and determines the correct and incorrect movements during breast-stroke. A user can learn correct movements by observing his/her own images and marking corrections on these images. The outline of a proposal system and the results of evaluation experiments have been described.
Keywords: Motion analysis, Learning system, Sport training, Hearing-impaired