映像遅延再生装置を利用した講義場面における連弾入力方式リアルタイム字幕提示システム 小林 正幸　石原 保志　西川 俊＊ 高橋 秀知＊＊　根本 匡文＊＊＊　村沢 勇＊＊＊＊ 聴覚部　教育方法開発センター　＊聴覚部　客員研究員 ＊＊聴覚部　電子情報学科情報工学専攻　＊＊＊聴覚部　一般教育等　＊＊＊＊川口短期大学 要旨：リアルタイムで発話内容を字幕として提示可能な字幕挿入装置１台とステノワードＰＣシステム２セットを用意し，1セット目で発話の内容を先ずひらがなで入力，表示し，その後かな・漢字変換を行い，漢字かな混じり文を提示する。他のセットで，１セット目で入力した確定文章の誤字，脱字の修正を行うことで，より正確な字幕をリアルタイムで提示可能な連弾入力方式リアルタイム字幕提示システム（連弾入力方式ＲＳＶシステム）を，非常勤講師が担当している一般教育科目である「総合Ⅱ（社会)」の講義場面において活用しているので，このシステムの機能，特徴，字幕の例示等について報告する。またリアルタイムに映像を遅らせて再生できる装置をこのシステムに接続して使用した結果についても述べる。 キーワード：聴覚障害，リアルタイム，字幕，連弾入力，情報保障，映像遅延再生 １.はじめに 　リアルタイムで発話内容を字幕として提示可能な旧型のリアルタイム字幕提示システム（ＲＳＶシステム）１）２）では，話者の音声を聞きながら発話内容をキーボードにより入力する作業が一人のため入力ミス，脱字，かな・漢字変換の誤変換等の訂正，修正等が困難であった。そこで，字幕挿入装置（ＶＩＰ－４１００Ｒ）１台とステノワードＰＣシステム２セット用意し，1セット目で発話の内容を先ずひらがなで入力，表示し，その後かな・漢字変換を行い，漢字かな混じり文を提示する。他のセットで，１セット目で入力した確定文章の誤字，脱字等の修正を行うことで，より正確な字幕を話者の映像と共にリアルタイムで提示可能な新システム（連弾入力方式ＲＳＶシステム）を開発し，非常勤講師が担当している1学年を対象とした一般教育科目である「総合Ⅱ（社会)」の講義場面において活用しているので，このシステムの機能，特徴，字幕の例示等について報告する。また，発話速度が速い場合は字幕の提示時間が短く，字幕を読み切るのが困難であるという欠点を改善するために，設定した秒数だけリアルタイムに映像を遅らせて再生できる映像遅延再生装置（フレームレコーダ）をこのシステムに接続して使用した結果についても述べる。 ２．映像遅延再生装置を利用した連弾入力方式ＲＳＶシステムの構成 　図１にシステムの構成を示す。 (1)オペレータは話者の音声を聞きながら高速で文字が入力できる文字入力用ステノワードＰＣキーボードにリアルタイムで入力する。 (2)入力された文字は校正器を通り文字入力用パソコンと文字修正用パソコンのキーボード入力端子に送出され，それぞれのパソコンでかな・漢字変換が行われる。 (3)文字修正用パソコンでかな・漢字変換された文章に誤字，脱字がない場合は，ＲＳ－２３２Ｃ経由で漢字コードとして字幕挿入装置へ送出される。文字修正用パソコンでかな・漢字変換された文章に誤字，脱字がある場合には，本システムの特徴の一つである校正器が，修正作業中に(1)で入力された文章をバッファメモリに蓄積し，文章修正後，オペレータが入力した文字入力速度と無関係に，バッファメモリに蓄積された文章を字幕が読みやすい一定した送信速度（ディップスイッチにより設定，変更可能）で文字修正用パソコンへ送出する。文字修正用パソコンはかな・漢字変換を行い，ＲＳ－２３２Ｃ経由で漢字コードとして字幕挿入装置へ送出する。 (4)字幕挿入装置（ＶＩＰ－４１００Ｒ）は(3)の漢字コードを字幕としてビデオカメラで撮影した映像にスーパーインポーズし，モニターへ提示する。 (5)映像遅延再生装置であるフレームレコーダ（ＦＲ－１００）は，(4)の字幕付きの映像をリアルタイムに設定した秒数だけ遅らせ，映像遅延再生用モニターヘ提示する。 図１システムの構成 ３．連弾入力方式ＲＳＶシステムの字幕提示例 　文字入力用パソコンで入力した字幕「私に　考える｡」を，文字修正用パソコンで「私は　考える。」に修正（下線部分の文字）する方法と字幕の提示について例示する。但し，文字入力用ステノワードＰＣシステムと文字修正用ステノワードＰＣシステムは，「読み」を提示するモードで，「読み」の文字色は黄，「確定」の文字色は白，「スペース／句点」付きのかな・漢字変換モードに，文字入力用ステノワードＰＣシステムはＶＩＰ－４１００Ｒとの接続なし，文字修正用ステノワードＰＣシステムはＶＩＰ－４１００Ｒとの接続ありのモードに設定をしている。また文字修正用パソコンのＣＲＴ画面とモニター画面は，同一表示となる。 (1)「読み」の文章である「わたし」を入力する（図２の常用句入力である「わ」と「｡」キーを同時に押す） と，黄の文字色で「わたし」が提示される。 文字入力用パソコンのＣＲＴ画面 【図１】 文字修正用パソコンのＣＲＴ画面 【図２】 (2)「読み」の文章である「に」を入力する（図２の子音キー「な｣，母音キー「い」と上段キー「,」を同時に押す）と，黄の文字色で「に」が提示される。 文字入力用パソコンのＣＲＴ画面 【図３】 文字修正用パソコンのＣＲＴ画面 【図４】 (3)次に，「スペース」付きかな・漢字変換キーを入力する（図２の「,」キーを押す）と，(2)で表示されていた「わたしに」が削除され，白の文字色で空白付きの確定文章「私に」が提示される。 文字入力用パソコンのＣＲＴ画面 【図５】 文字修正用パソコンのＣＲＴ画面 【図６】 (4)ここで，誤入力した「に」を修正する。文字修正用パソコンの「デリミタ」キーを押すと，校正器は文字修正用パソコンヘのデータ転送を一時停止し，文字修正用パソコンはキー入力が可能となり，誤字，脱字等の訂正，修正を行うことができる。 ①文字入力用パソコン 　「読み」の文章である「かんがえる」を入力する（図２の常用句入力である「あ｣，「え｣，「,｣，「｡」キーを同時に押す）と，黄の文字色で「かんがえる」が提示される。 【図７】 　ここで，「句点」付きかな・漢字変換キーを入力する（図２の「｡」キーを押す）と，上記（４）①で表示されていた「かんがえる」が削除され，白の文字色で句点付きの確定文章「考える｡」が提示される。 【図８】 ②文字修正用パソコン 　カーソルキーで誤入力文字である「に」までカーソルを移動し，「ＤＥＬ」キーにより「に」を削除し，訂正文字である「は」を入力する（図２の子音キー「は｣，母音キー「あ」を同時に押す）と，黄の文字色で「は」が提示される。その後，図２の「無変換」キーの入力により，白の文字色で「は」が提示される。 　ここで，誤入力文字である「に」の修正作業が終了したので，「デリミタ」キーを押す｡ 【図９】 ③校正器 (4)①で入力された「読み」の文章である「かんがえる」の文字コードや，「句点」付きかな・漢字変換コードが，校正器のバッファメモリに蓄積される。 (5)(4)③で蓄積されていたコードは，校正器のディップスイッチで設定した転送スピードで文字修正用パソコンのキーボード端子に送出きれる。 (6)文字修正用パソコンは(5)のコードをキーボード端子から受信する。 ①黄の文字色で「読み」の文章である「かんがえる」が提示される。 【図１０】 ②読みの文章である「かんがえる」が削除される。 【図１１】 ③白の文字色でかな・漢字変換された確定文章である句点付きの「考える｡」が提示される。 【図１２】 図２ステノワードＰＣキーボードのキー配列 ４．講義場面での活用 　本学のデザイン学科を除く機械工学科，建築工学科，電子情報学科電子工学専攻，電子情報学科情報工学専攻の1学年を対象とした一般教育科目である「総合Ⅱ（社会)」の法学の講義（平成８年11月８日）で本システムを活用した情報保障を実施した。 　講義の方法は，発話，板書，手話で行い，非常勤講師（学外講師）や学内の教師（学内講師）の音声を聞きながらキー入力するオペレータ２名はスピードワープロ研究所から招聰し，３０分程度毎に入力作業と修正作業を交互に行うことで字幕提示による情報保障を実施した。 　字幕の提示形式は８行20文字，「読み」の文字色は黄，「確定」の文字色は白，黒色の太いエッジを付加した。 　また，映像遅延再生装置であるフレームレコーダ（ＦＲ－100）の映像遅延再生時間は，前回の連弾入力方式ＲＳＶシステムにより情報保障を実施したときに録画したビデオテープを視聴し，学外講師の発話スピードで４行程度の遅れになる16秒に設定した。 　図３に本システムを利用して情報保障を実施した講義室内の配置図を示す。 図３講義室内の配置 ５．質問紙調査と結果 　講義終了後，本学の機械工学科，建築工学科，電子情報学科電子工学専攻，電子情報学科情報工学専攻の1学年で本講義を受講した学生36名を対象としたリアルタイム字幕提示に関する質問紙調査を実施した。その内容と結果は次の通りである。 (1)図４は「字幕の中に時々「誤り」がありました。この「誤り」は，講義の内容を理解する上で困りましたか。１つに○をつけて下さい。①たいへん困った　②少し困った　③あまり困らなかった　④全く困らなかった｡」という質問に対する回答を集計したものである。「③あまり困らなかった」と「④全く困らなかった」という回答が36名中24名（66.7％）であり，受講生の字幕の誤変換に関する意識調査は，ほぼ満足できる結果であった。 (2)図５は「講義の内容を理解する上で，村沢先生（学外講師）の話と板書，根本先生（学内教師）の話と板書，テレビの字幕のどれが役立ったと思いますか。一番役に立ったものから順に（）の中に番号を書いて下さい。（）村沢先生の話と板書（）根本先生の話と板書（）テレビの字幕」という質問に対する回答を，１番目を３点，２番目を２点，３番目を１点とし，それぞれに回答者の人数を掛けて得点化したものである。この結果をみると字幕の得点が89点と最も高く，受講生が本システムの字幕による情報保障にある程度依存していることが確認できる。 (3)図６は「中央にあるテレビ画面は，左右にあるテレビ画面よりも，字幕が４行（画面の半分）程度遅れて提示されていました。この遅れた字幕提示は，講義の内容を理解する上で役に立ちましたか。1つに○をつけて下さい。①たいへん役に立った②少し役に立った③あまり役に立たなかった④全く役に立たなかった」という質問に対する結果を集計したものである。 「①たいへん役に立った」と「②少し役に立った」という回答が36名中25名（69.4％）であり，映像遅延再生装置であるフレームレコーダ（ＦＲ－100）の有効性は，ほぼ確認できた。 　また，図７は「字幕が遅れて提示される行数は，何行が良いと思いますか。１から８までの行数を記入して下さい｡」というフレームレコーダによる遅れの行数に対する質問の回答で，５行が13名，８行が７名とふた山にわかれる結果になった。 図４　字幕の誤変換に関する意識 図５　字幕への依存度 図６　フレームレコーダに関する意識 図７　フレームレコーダの遅れの行数に関する意識 ６．おわりに 　今後の課題は次の通りである。 (1)ステノワードＰＣシステムのソフトをＤＯＳ対応から，かな・漢字変換精度が向上するウインドウズ版の日本語フロントエンドプロセッサである「ＡＴＯＫ10」が活用できるウインドウズ対応に改良する。 (2)オペレータの入力作業が発話のスピードに追従できない場合の脱字に対するシステムの改善，改良を検討する。 (3)フレームレコーダによる遅延再生時間を種々変更して，字幕読み取りの最適な時間を調査する。 ［参考文献］ 1）小林 正幸，西川 俊，石原 保志，高橋 秀知：“聴覚障害学生のためのリアルタイム字幕提示システム(2)"，信学技報，ET93-107,93,458,pp.9-14,(Jan.，1994） 2）西川 俊，高橋 秀知，小林 正幸，石原 保志，柴田 邦博：“聴覚障害者のためのリアルタイム字幕表示システム”，信学論D-Ⅱ，J78-D-Ⅱ,11,pp.1589-1597,（Nov.,1995） 3）小畑 修一：“｢聴覚障害学」の教材に対する学生の印象度と「総合Ⅱ（社会)」のリアルタイム文字表示に対する学生の反応”，平成５年度筑波技術短期大学公開講座「現代聴覚障害教育研修講座｣，pp.1-8,Jul.,1993）