ルビ付きリアルタイム字幕提示に関する研究

筑波技術短期大学教育方法開発センター（聴覚障害系）1）同客員研究員2）
小林 正幸1）西川 俊2）石原 保志1）

要旨：リアルタイムでかな漢字混じり文と漢字の上端に縮小した漢字の読み（ルビ）を提示できる遠隔地ルビ付き連弾入力方式リアルタイム字幕提示システムを開発し、本学の社会学の講義場面で使用した。このシステムの字幕提示方法、使用結果、及び本システムの特徴的な機能であるルビ提示の有効性等について報告する。
キーワード：字幕　リアルタイム　ルビ

１はじめに
　本学聴覚部の一般教育等の非常勤講師が担当している科目「社会学」では、高速で文字入力ができるステノワードＰＣシステム２セット、テレビ会議装置、及び字幕挿入装置を連携することで、遠隔地で講師の音声を聞きながらリアルタイムで発話内容を、まず、ひらがな（読み）で表示した後、かな漢字混じり文で字幕として提示する遠隔地連弾入力方式ＲＳＶシステム［１］を使用している。しかし、このシステムではひらがなを表示した後ひらがなを削除し、その後確定したかな漢字混じり文を提示するため、視聴者の視線の移動が多く、目が疲れるという欠点があった。そこで、リアルタイムでかな漢字混じり文と漢字の上端に縮小した漢字の読み（ルビ）を提示できる遠隔地ルビ付き連弾入力方式リアルタイム字幕提示システム(遠隔地ルビ付き連弾入力方式ＲＳＶシステム）を開発し、本学の講義場面で使用したので、このシステムの構成、字幕提示方法、使用結果、及び本システムの特徴的な機能であるルビ付きリアルタイム字幕提示の有効性について報告する。

２システムの構成
　図１にシステムの構成を示す。
このシステムの動作は、次の通りである。
（１）講義室の話者の音声は、ワイヤレスピンマイク、ワイヤレスアンプ、テレビ会議装置(PICSEND-RⅡ)、ターミナルアダプタ､ＩＮＳネット６４を介して遠隔地（東京渋谷のスピードワープロ研究所）へ送出される。
（２）遠隔地にいる入力担当オペレータは（１）で送出された音声をスピーカで聞きながら、高速で文字が入力できる文字入力用Windows対応ステノワードＰＣシステムにリアルタイムで入力する。
（３）入力された文字は２台のキーボードと２台のパソコン間のデータの流れを制御する校正器を通り、文字入力用パソコンと文字修正用パソコンのキーポ－ド端子に送出され、それぞれのパソコンでかな・漢字変換される。
（４）修正担当オペレータは、文字修正用パソコンでかな･漢字変換された文章の誤字､脱字を判断した後、修正作業を行うかどうかを決める。
(a）修正作業をしない場合（誤字、脱字がない場合）
文字修正用パソコンは、このパソコンでかな・漢字変換した文章をRS-232Cポートから9600BPSのスピードで、文字コードとして、テレビ会議装置、ターミナルアダプタ､ⅨＳネット６４を介して講義室の字幕提示用パソコンへ送出する。
(b）修正作業をする場合（誤字、脱字がある場合）
①修正担当オペレータは、文字修正用ステノワードＰＣキーボード（以下、文字修正用キーボードと略す｡）の「デリミタ」キーを押す。
　校正器は、文字入力用パソコンで入力された文字コードを文字修正用パソコンへ送出することを一時停止する。
②修正担当オペレータは､文字修正用Windows対応ステノワードＰＣシステムで誤字、脱字の修正を行う。修正された文字は、文字修正用パソコンのRS-232Cポートから9600BPSのスピードで、文字コードとして、テレビ会議装置、ターミナルアダプタ､ＩＮＳネット６４を介して講義室の字幕提示用パソコンへ送出する。
　校正器は、修正担当オペレータの修正作業中に、入力担当オペレータが入力した文字コードを、バッファメモリに蓄積すると同時に文字入力用パソコンへ送出する。
　文字入力用パソコンは、校正器が送出した文字コードをかな・漢字変換する。
③修正担当オペレータは、修正作業終了後、文字修正用キーボードの「デリミタ」キーを押す６校正器は、前記②で蓄積したバッファメモリの文字コード（修正担当オペレータの修正作業中に、入力担当オペレータが入力した文字コード）を、入力担当オペレータが入力した文字入力速度と無関係に一定の送信速度で文字修正用パソコンへ送出する。
④文字修正用パソコンは、前記③の文字コード（修正担当オペレータの修正作業中に、入力担当オペレータが入力した文字コード）を受信し、かな・漢字変換を行い､RS-232Cポートから9600BPSのスピードで、文字コードとして、テレビ会議装置、ターミナルアダプタ、INSﾈｯﾄ64を介して講義室の字幕提示用パソコンへ送出する。
（５）講義室の字幕提示用パソコンは、前記（４）の文字コードを受信し、リアルタイムでかな漢字混じり文と漢字の上端に縮｣､した漢字の読み（ルビ）を同時に提示する。
（６）前記（５）のルビ付き字幕はスキャンコンバータを介して、モニタへ提示される。
（７）前記（６）のルビ付き字幕はキヤンコンバータからテレビ会議装置、ターミナルアダプタ、INSネット６４を介して遠隔地に設置してある講義室の映像確認用モニタへ提示され、システム全体が正常に動作しているかどうかを確認するために使用される。

図１システムの構成

3．字幕提示方法
　ステノワードＰＣシステムで入力した「遠隔地ルビ付きリアルタイム字幕提示｣の字幕提示方法について例示する。
３．１　旧システム（遠隔地連弾入力方式RSVシステム）
　図２に旧システムの遠隔地連弾入力方式ＲＳＶシステムで入力した字幕提示例を、図３に字幕提示画面を示す。
(1)ひらがな（読み）で「えんかくちるぴつきりあるたいむじまくていじ」を入力すると、設定した文字色で画面左上（ホーム）から「えんかくちるびつきりあるたいむじまくていじ」の字幕が提示される。［図２(a)］
（２）ここで入力した文章「えんかくちるびつきりあるたいむじまくていじ」を確定する。
１）提示されている｢えんかくちるびつきりあるたいむじまくていじ｣が削除され､カーソルがホームへ移動する。［図２(b)］
２）入力した｢えんかくちるぴつきりあるたいむじまくていじ」が、かな漢字変換され､設定した文字色で確定文章の｢遠隔地ルビ付きリアルタイム字幕提示｣がホームから提示される。［図２(C)］

図３　旧システムによる字幕提示画面

３．２　新システム（遠隔地ルビ付き連弾入力方式RSVシステム）
　図４に新システムの遠隔地ルビ付き連弾入力方式ＲＳＶシステムで入力した字幕提示例を、図５に字幕提示画面を示す。
　ひらがな（読み）で「えんかくちるびつきりあるたいむじまくていじ」を入力し、かな漢字変換後確定すると、かな漢字混じり文とルビが図４のように同時に提示される。

図４新システムによる字幕提示例
図５新システムによる字幕提示画面

４結果と考察
　平成12年度３学期７回目の一般教育等の講義｢社会学」でルビ付きリアルタイム字幕提示に関する質問紙調査を実施した。対象者は本学聴覚部の機械工学科、建築工学科、電子情報学科電子工学専攻、電子情報学科情報工学専攻の本講義を受講した１学年の学生で、全員重度及び最重度の聴覚障害者である。調査の内容は、次の通りである。

４．１　ルビ提示の必要性に関する意識
　図６は、「今回の字幕は､かな漢字混じり文の漢字の上端に漢字の読み（ルビ）を付加して提示しました。この漢字の読み（ルビ）は必要でしょうか。１つに○をつけて下さい。（１）ある方がよい。（２）なくてもよい｡」という質問に対する回答を集計した結果である｡「(1)ある方がよい｡」と回答した受講生は32名中21名（６５.６％)、「（２）なくてもよい｡」では１１名（34.4％）で、６割以上の学生はルビ提示が必要だと回答している。

図６ルビ提示の必要性に関する意識

４．２　ルビ提示の有効性に関する意識
　図７は、「講義の内容を理解する上で、ルビを提示する方法と、提示しない方法、どちらが役立ったでしょうか。
１つに○をつけて下さい。（１）ルビの提示あり。（２）ルビの提示なし｡｣という質問に対する回答を集計した結果である。「（１）ルビの提示あり｡」と回答した受講生は32名中20名（62.5％)、「（２）ルビの提示なし｡」では１２名（37.5％）で、６割以上の学生はルビの提示に依存している。これは自由記述の「読みが分からない字の時に役立つから｡｣､｢今までに思っていた読み仮名が間違えていたから今回ついたことで役に立った｡」という回答からも伺える。
　一方、旧システム（遠隔地連弾入力方式RSVシステム）による同様な質問紙調査による集計結果を図８に示す。
「（１）読みの表示あり｡」と回答した受講生は36名中１５名(41.7％)、「（２）読みの表示なし｡」では21名（58.3％）で、４割程度の学生が読みの表示に依存している。新システムと旧システムでは､講義科目や受講生の違いはあるが、新システムの方が20ポイント程度｢ルビ提示あり」と回答した者が多く、この結果から、新システムのルビ付き方式の有効性が検証できたといえるであろう。

図７ルビ提示の有効性に関する意識
図８ルビ表示の有効性に関する意識（旧システム）

４．３字幕への依存度
　図９は、「講義の内容を理解する上で､字幕に頼りましたか。１つに○をつけて下さい。①たいへん頼った②少し頼った③あまり頼らなかった④全く頼らなかった」という質問に対する回答を集計した結果である｡｢①たいへん頼った」という回答が、３２名中２３名（71.9％）であり、70％程度の学生が講義内容を理解する上で字幕に依存している。この結果から、講義において７割程度の学生が字幕を主要な情報受容メディアとして利用していたことが明らかになった。
　自由記述では、「耳が聞こえない。ロが読めない｡｣、「先生の言葉が字幕で分かった｡｣､｢話だけでは理解しにくかったかもしれないから｡｣、｢先生の口話だけでは分からないから｡｣、「講義を理解する上では大変役に立つ｡」という好意的な記述があった。

５．おわりに
　本システムを非常勤講師が担当している一般教育科目である「社会学」の講義場面で使用し、本システムの特徴的なリアルタイムでかな漢字混じり文とルビを同時に提示できる機能の有効性について検証した。
　今後は、句点までの入力文字数が多い場合、字幕提示の遅れを改善するようソフトを改良する予定である。

図９字幕への依存度

参考文献
[1］小林 正幸、石原 保志、他：聴覚障害者のための遠隔地でのキーボードの連弾入力によるリアルタイム字顎是示システム、ろう教育科学、VbL40、Ｎｏ３、｢読み｣の表示なしpplZ1-130(0ct.,1998）

Study of Real-Time Captions Pronunciation alongside Chinese Characters

Masayuki KOBAYASHI1), Satoshi NISHIKAWA 2) & Yasushi ISHIHARA 1)
1) Research Center on Educational Media, Division for the Hearing Impaired, Tsukuba College of Technology
2) Guest Researcher

Abstract : We have developed a real-time caption pronunciation alongside Chinese characters system. We used this system at lectures of sociology. We report on the functions of the system and the results of testing (dependence on captions, validity of pronunciation alongside Chinese characters).
Key Words : Captions, Real-time, Pronunciation