ルビ付きリアルタイム字幕提示システムの試作

小林 正幸　石原 保志
西川 俊　＊高橋 秀知＊＊
筑波技術短期大学　聴覚部教育方法開発センター
＊筑波技術短期大学　聴覚部客員研究員
＊＊筑波技術短期大学　聴覚部電子情報学科　情報工学専攻

要旨：本学の聴覚部の講堂及び一般教育の講義室には、話者の音声情報をリアルタイムで先ず平仮名表示し、その後、確定した漢字・かな混じりの字幕を話者の映像にスーパーインポーズできるＲＳＶシステムが設置されているが、視聴者の視線の移動がおおく、目の疲労やチラチラして読み難い等の欠点があった。そこで、我々は漢字の「読み」を、漢字の上端に縮小した平仮名で表示（ルビ）するルビ付きリアルタイム字幕提示システムを試作したので報告する。
キーワード：聴覚障害、リアルタイム字幕、ルビ、高速入力キーボード

１．はじめに
　本学の聴覚部の講堂及び一般教育の講義室には、音声情報をリアルタイムで話者の映像とともに字幕として提示可能なＲＳＶシステム（Real-Time Captioning System by Stenoword and Video Information Processors）が設置されている。このシステムは、かな・漢字変換する文章の「読み」を先ず表示し、その後確定した漢字・かな混じり文を提示する形式や、確定した漢字・かな混じり文のみを提示する形式が設定可能であるが、「読み」を先に表示する提示形式では、①「読み」の表示、②「読み」の削除、③確定した漢字・かな混じり文の表示の順で提示するため、視聴者の視線の移動がおおく、目の疲労やチラチラして読み難い等の欠点があった。
　そこで、我々はリアルタイムに確定した漢字・かな混じり文中の漢字の「読み」を、漢字の上端に縮小した平仮名で表示（ルビ）することで視聴者の視線の移動が少ない、ルビ付きリアルタイム字幕提示システムを試作したので報告する。

２．システムの構成
図1にシステムの構成を示す。
（１）オーディオタイピストは話者の音声を聞きながら、高速で文字入力可能なキーボード（ステノワードPcキーボード）によりリアルタイムで入力する。
（２）入力された文字は、文字入力用パソコン（ＰＣ－９８２１Ａｐ２）のＲＳ－２３２Ｃで文字コードや制御コードとして、ルビ付き字幕提示用パソコン（ＰＣ－９８０１ＲＸ２）ヘ送出される。
（３）ルビ付き字幕提示用パソコンは、（２）で送出されたコードを受信し、ルビ付きの漢字・かな混じり文をＣＲＴに提示する。
（４）ビデオカード（ＰＳＩ－４００）は、ピデオカメラで撮影した話者の映像に、（３）のルビ付きの漢字・かな混じり文をスーパーインポーズした字幕として、ビデオモニタヘ提示する。

図１　システムの構成

３．ソフトウェアインターフェイス
　文字入力用パソコンとルビ付き字幕提示用パソコン間のソフトウェアインターフェイスは、次の通りである。
３．１伝送形式及び伝送速度
（１）同期方式　調歩同期式
（２）ビット長　８ビット
（３）パリティ　偶数パリティ
（４）ストップビット　２ビット
（５）速度９６００　ボー
（６）データ形式　ＪＩＳコード
３．２通信プロトコル
　通信は文字入力用パソコンからルビ付き字幕提示用パソコンヘの単方向であり、プロトコルは以下の通りである。
（１）接続開始コードの送信（５バイト）
（２）変換コードの送信（２バイト）
（３）無変換コードの送信（２バイト）
（４）カーソル移動コードの送信（２バイト）
（５）バックスペースコードの送信（４バイト）
（６）挿入コードの送信（２バイト）
（７）上書きコードの送信（２バイト）
（８）削除コードの送信（２バイト）
（９）文字コードの送信（２バイト）
・ＪＩＳコード
・1文字につき２バイト
(１０）改行コードの送信（２バイト）
(１１）接続終了コードの送信（１バイト）
(１２）「読み」の文字色コードの送信（５バイト）
(１３）「確定」の文字色コードの送信（５バイト）

４．ソフトウェア
　ルビ付き字幕提示用パソコンのソフトは、文字表示用ユーティリティ・パッケージソフト「Ｔｅｌｏｐ９８Ⅱ」を組み込んで、Ｎ８８－日本語ＢＡＳＩＣで作成した。
　ソフトのジェネラルフローを図２に、コマンド処理のフローを図３に示す。
４．１イニシャル処理
　ＣＲＴ画面のモード設定、ビデオポードのパラメータ設定、ＲＳ－２３２Ｃのオープン、パラメータのイニシャル設定等を行う。
４．２ＲＳ－２３２Ｃデータ受信処理
　文字入力用パソコンから送出された制御コードを受信する。
４．３コマンド処理
　４．２で受信した制御コードを解析し、次のような処理を実行する。
（１）接続開始処理
　文字入力用パソコンからの制御コード、文字コードの受信を可能にする。
（２）変換処理
　漢字・かな混じり文の表示を行い、その後ルビ文の抽出、表示を実行する。
（３）無変換処理
　ルビ文を表示する横方向の位置を更新する。
（４）改行処理
　改行を行う。
（５）文字コード処理
　２バイトのＪＩＳコードを漢字・かなに変換し、バッファへ蓄積する。
（６）接続終了処理
　ＲＳ－２３２Ｃをクローズし、プログラムを終了させる。

図３　コマンド処理のフロー

5．字幕の提示形式
　字幕の提示形式は次の通りである。
（１）表示文字数１５文字／行
（２）表示行数６．２５行／画面
（３）文字サイズ
・漢字・かな３２×３２ドット
・ルビ１６×１６ドット
（４）文字色
・漢字・かな白
・ルビ白
（５）エッジ色青

６．字幕の提示例
　ＲＳＶシステムと、ルビ付きリアルタイム字幕提示システムで入力した「私は考える。」という字幕の提示について、以下に例示する。（但し、システムは「読み」を提示するモードで、「読み」の文字色は黄、「確定」の文字色は白、「スペース／句点」付きのかな・漢字変換モードに設定）
６．１ＲＳＶシステムの場合
（１）「読み」の文章「わたし」を入力する（図４の常用句入力である「わ」と「｡」キーを同時に押す）と、黄の文字色で「わたし」が提示される。
（２）「読み」の文章「は」を入力する（図４の子音キー「は」と母音キー「あ」を同時に押す）と、黄の文字色で「は」が提示される。
（３）ここで、「スペース」付きかな・漢字変換キーを入力とする（図４の「、」キーを押す）と、（２）で表示されていた「わたしは」が削除され、白の文字色で確定した文章「私は」が提示される。
（４）次に、「読み」の文章「かんがえる」を入力する（図４の常用句入力である「あ｣、「え｣、「、｣、「｡」キーを同時に押す）と、黄の文字色で「かんがえる」が提示される。
（５）ここで、「句点」付きかな・漢字変換キーを入力する（図４の「｡」キーを押す）と、（４）で表示きれていた「かんがえる」が削除され、白の文字色で確定した文章「考える｡」が提示される。
６．２ルビ付きリアルタイム字幕提示システムの場合「読み」の文章は、６．１と同様なキー入力操作で行う。
（１）「読み」の文章「わたしは」を入力する。
（２）ここで、「スペース」付きかな・漢字変換キーを入力とすると、白の文字色で確定した文章「私は」と、漢字の上端に縮小した白の文字色でルビ「わたし」が提示される。
（３）次に、「読み」の文章「かんがえる」を入力する。
（４）ここで、「句点」付きかな・漢字変換キーを入力すると、白の文字色で確定した文章「考える。」と、漢字の上端に縮小した白の文字色でルビ「かんが」が提示きれる。

図４　ステノワード―ＰＣキーボードのキー配列

７．おわりに
　今後は、文字の挿入、削除等の機能追加や、システムを実際に講義等で活用して、アンケート調査によるシステムの問題点、改善点等を明確にしたい。