遠隔地リアルタイム字幕提示システム等情報保障手段による支援とそのシステム開発

筑波技術大学 障害者高等教育研究支援センター1）　筑波技術大学 産業情報学科2）

三好 茂樹1）　河野 純大2）　西岡 知之2）　白澤 麻弓1）　皆川 洋喜2）　長南 浩人1）　加藤 伸子2）　村上 裕史2）　内藤 一郎2）　黒木 速人1）　石原 保志1）　小林 正幸1）

要旨：遠隔地リアルタイム字幕提示システムは、テレビ放送の字幕や学会や式典、講義での情報保障などに用いられている。本学では、これまでに非常勤講師が担当する教養科目の情報保障に用いられてきた。本報告では、このような聴覚障害者のための情報保障手段を用いて、平成17年度および18年度に実施してきた主な学内・学外支援やAPCD2006 等における情報保障について触れる。
キーワード：リアルタイム字幕，遠隔，速記タイピスト，聴覚障害，英語字幕

1．はじめに
　聴覚障害者のみを対象とする国立大学法人筑波技術大学で、我々はリアルタイム字幕提示システムの研究・開発を行っている。1990年から本学の式典で利用を開始し[1]、1993年からは講義での利用を開始している[2]。1996年からは「連弾入力方式」という名称で、話者の音声を聞いて速記キーボードを用いて文字に変換する役割を2名の速記タイピストで実施する手法となった。2名の速記タイピストが入力担当と校正担当に別れ、作成した文字列内に含まれている誤字を即座に修正し、精度を上げようとする形態である[3]。また、この様な形態に加えて、話者のいる講義室等から遠く離れた場所でも文字入力担当者と修正担当者が支援を行うことができる遠隔地連弾入力方式のリアルタイム字幕提示システムを構築した。このシステムはISDN回線を利用し、現在、式典での情報保障や講義支援として利用している[4]。本学では、上記のように技術の進展に合わせ、より望ましい形態の支援システムを目指して開発を進めている。1990年から実施している入学式・卒業式等の式典の支援や主に学外から招聘した非常勤講師の教養科目支援の利用回数は、現在、260回以上に達している。
　本報告では、以下の2つを中心に報告をする。
・従来から利用しているISDN回線を利用したTV電話との連携によって通信を行うシステムの安定化について
・専門性の高い講義への適用とインターネット対応の試み[5][6][7][8][9][10]

2．ISDN対応システムの安定化
2.1　システム構成
　ISDN対応の遠隔地リアルタイム字幕提示システムは、本学の式典や非常勤講師による講義での情報保障、そして学会（学外支援）での情報保障手段などに用いられており、多くの運用実績を有する。講義に関しては、非常勤講師が担当する教養科目の情報保障に、これまで用いられてきた。学外支援の増加や簡便な運用のためにシステムをコンパクトにする必要性や不特定の担当者が運用するという状況も視野に入れ、システムの改善を行った。
　システムの概念図を図1に示す。字幕提示会場と字幕作成スタジオ間をISDN回線で接続し、映像・音声を送受信する。字幕作成会場からは、作成した字幕を会場に送り、会場で聴覚障害者を含む聴衆に提示する。改良したシステム（図2）は、TV電話やパーソナルコンピュータ（PC）、そしてUSB接続タイプのRS-232C機器で構成される。遠隔地にある速記タイピストの企業（スピードワープロ研究所）側のシステムは、ISDN回線を介して、ISDN回線対応TV電話によって字幕提示会場と接続される。そのTV電話を用いて映像と音声が送受信される。また、字幕情報はスピードワープロ研究所のシステムからTV電話に用意されているRS-232Cポートによって会場に送られ、通信・文字処理用PCによって加工・修正される。その後、同一のPCまたは別のPC（図中、「字幕投影用PC」と表記）へUDP通信で送られ、表示される。
　文字通信に関するログ取得等での動作検証や速記タイピストに対するアンケート調査の実施により、システム改善を実施した。
2.2　実験的な情報保障実施による動作検証1
　平成18年度本学入学式（図3）にて、改良を施した通信・文字処理用プログラム（図4）による動作検証を行った。また、日本特殊教育学会第44回大会（図5）にて、検証を継続した。システム構成は、通信・文字処理用PCおよび字幕投影用PCの組を、バックアップを含めて2組用意し、同時に稼動させた。字幕投影用PC からの出力を即座に切り替えられるように、モニタ切替器を通して、プロジェクターへ接続した。
　群馬大学教育学部で開催された日本特殊教育学会では、字幕提示システムの動作検証3日間の内、初日のみISDN対応システムを稼動させた。本学の障害者高等教育支援研究センターと産業技術学部が協力して、遠隔地リアルタイム字幕の検証や遠隔による情報保障システムによる支援を同時に実施した（図5）。学会には、障害者を含む多数の方々の学会参加があり、特に一般公開した特別講演会では、メイン会場に入りきらない聴衆のために、メイン会場の映像・音声を学内のサブ会場2 箇所に配信することで視聴できるよう通信システムを構築し運用した。
　この動作検証によって、字幕作成スタジオから送られてくる文字情報の不具合等を特定し、その対処方法を通信・文字処理用プログラムに付加することができた。
2.3　実験的な情報保障実施による動作検証3
　前節の通信・文字処理用プログラムの概観を図6に示す。このプログラムを用いて、第9回アジア太平洋地域聴覚障害問題会議（APCD2006）（同時開催：第40回全日本聾教育研究大会（関東大会））にて、動作検証を行った（図7）。検証では、前節と同様にバックアップも含めた2組で実施した。また、この動作検証でのシステムの全稼動時間は、およそ13時間弱であった。その間、不具合等は全く発生せず、不具合が内部的に発生してもそれを回避・修正できていることをプログラムのログによって確認できた。
　このAPCDにおける情報保障手段は、以下に示す複数の手法で同時に実施された（図8）。
�@ISDN対応遠隔地リアルタイム字幕提示システム（日本語）
�APC英語字幕（次章参照）
　舞台袖にブースを設けて、6人の米国人が3人2グループに分かれて交代で字幕作成を実施した。
�B日本語手話
�CASL（アメリカ手話）

図1　ISDN対応の遠隔地リアルタイム字幕提示システム
図2　ISDN回線対応通信システム
図3　筑波技術大学 入学式
図4　通信・文字処理用プログラム概観
図5　特殊教育学会における動作検証
図6　修正された通信・文字処理用プログラム概観
図7　APCDにおける動作検証概観
図8　高等教育分科会（APCD）における動作検証概観
図9　舞台袖の各情報保担当エリア（字幕のみ記載）

3．専門科目対応およびインターネット対応システムの開発
3.1　システム構成
　本学は昨年4年制の国立大学法人となり、非常勤講師に対する依存度が増加し、専門科目でも字幕サービスの要望が出ていること、そして一般大学に進学する聴覚障害学生の増加していること等を踏まえ、インターネット対応システムの構築を計画した。このシステム機能としては、次のような事項が挙げられる。
　第1点目： 特別で高価な装置や通信回線を利用せず、またスムーズに教育機関の間の通信が実現できる手法を取り入れている。この機能によって、特別な通信設備が敷設されている講義室での限られた利用から、学内LAN環境のある教室での利用が可能となり、利用範囲の拡大と通信回線に関するコスト低減が期待できる。
　第2点目：システムは、Webブラウザによって利用可能なWebコンテンツとして提供できる。特別なプログラムのインストール当が不要であり、また利用方法の学習も比較的容易である。この利点は技術スタッフの負担低減にも繋がる。
　図9にシステム構成を示す。前述のISDN対応システムの通信経路をインターネットへ置き換えるために、映像・音声・文字通信機能を有するサーバープログラム（Adobe Flash Media Server 2またはFlash Communication Server 1.5）を稼動させた。このサーバーを介して、字幕作成スタジオと字幕提示会場が接続され、字幕提示を実現する。図10に字幕作成スタジオの概観を示す。4名の速記タイピストが同時に字幕作成を実施する。入力担当と校正担当間に15インチのモニタをそれぞれ配置（図11参照）し、そこに会場の映像が提示される。PCは1台のみであり、PCの映像出力から15インチ外部モニタ1台へ出力された。また、会場からの音声情報は字幕作成スタジオの音響システムへ入力された。会場映像の下部（図12参照）には、会場から送信される専門用語等を表示するエリアを配置し、難解な専門用語を正しく速記タイピストが作成できるように工夫が施されている。
3.2　実験的な情報保障実施による動作検証1
　群馬大学教育学部で開催された日本特殊教育学会では、字幕提示システムの動作検証3日間の内、2日目および3日目に実施した。合計6時間の検証を行った。また、非常勤講師による本学の講義保障として合計14時間弱の検証を実施した。その他、講義保障関連のシンポジウム等でも検証を継続的に行った。
3.3　実験的な情報保障実施による動作検証2
　福岡国際会議場で開催された2006年世界政治学会（福岡大会, IPSA, AISP）におけるPC 英語字幕を、遠隔地間を結んで実施した。この試みは、本学障害者高等教育研究支援センター・障害者支援研究部（聴覚障害系）、（株）サイマル・インターナショナルおよび（株）アーバン・コネクションズの連携で実現した（図14）。映像・音声関連機器の接続を省略した接続図を図15に示す。字幕作成にはPC要約筆記で用いられるIPTalkを利用しているために、英語字幕提示会場である福岡国際会議場と字幕作成を行う（株）アーバンコネクションズ（東京都）をVPNソフトウェア（PacketiX Server ×1およびBridge ×2）によって文字通信を実現した。
3.4　インターネット対応システムでの音声伝送に関して
　3.2および3.3の検証において、作成担当者からは、音質そのものは良好であり、字幕作成作業において「音飛び」も気にはならないという内観報告を受けてはいる。しかしながら、不自然な音声情報の断裂等は無い方がより好ましいと推察した。そこで、動作検証で録音しておいた音声データから10分間分のデータを取り出して、「音飛び」の頻度と時間を調べた。図16にその結果を示す。
　計測した「音飛び」は、10分間で11回出現しており、その時間は500[ms]以内であった。また、200[ms]以内の音飛び時間が多かった。概ね、このような音環境下で字幕作成を行っているが、稀に数秒間に及ぶ「音飛び」も発生する。
　現在、この「音飛び」を回避する手法をプログラムに付加するための開発を、字幕提示までの遅延も考慮しながら実施している。

図10　インターネット対応遠隔地リアルタイム字幕提示システム
図11　字幕作成スタジオの様子
図12　インターネット対応の通信用PC
図13　通信用プログラムの概観
図14　世界政治学会（福岡大会）におけるPC英語字幕実施の様子
図15　世界政治学会（福岡大会）におけるPC英語字幕（映像・音声等の接続図を含まず）

4．まとめ
　2種類の遠隔地リアルタイム字幕提示システムの開発および動作検証のために、様々な局面での試験的運用を実施した。これらの試みを通して、ISDN回線対応システムでは安定した動作を確認でき、バックアップ・システムを準備する必要がなくなった。これにより、よりコンパクトなシステム構成とすることができた。また、インターネット対応システムでは安定性した動作が確認でき、問題点も明確化することができた。特に、速記タイピスト等からのアンケート調査からは、字幕作成に最適なインタフェースや資料提示方法がわかり、その結果に基づき、試作を実施することができた。本報告では、検証によって得られた事項の一部について触れた。今回の動作検証に基づいて、今後も最適な講義保障の手法や講義保障者に対する支援技術および手法に関する研究開発を実施したい。

図16　受信した音声データの「音飛び」頻度

謝辞
　今回、快く検証に協力してくださった非常勤講師の黒瀬 邦夫氏、APCD2006関連の写真を提供してくださった産業情報学科荒木 勉教授、様々な条件での遠隔地リアルタイム字幕提示実験を快く引き受けて頂いたスピードワープロ研究所社長の柴田 邦博氏、ならびに速記タイピストの皆様に心から感謝致します。

文献
[1] 小林 正幸， 西川 俊， 石原 保志， 高橋 秀知，“リアルタイム字幕挿入システム，”第24回全日本聾教育研究大会（宮城大会）研究集録： 118-119， 1990.
[2] 小林 正幸， 西川 俊， 石原 保志， 高橋 秀知，“聴覚障害学生のためのリアルタイム字幕提示システム（1），”電子情報通信学会技術研究報告， Vol.92， No.455： 51-57，1993.
[3] 小林 正幸， 西川 俊， 石原 保志， 高橋 秀知，“聴覚障害者のためのキーボードの連弾入力方式によるリアルタイム字幕提示システム，” 電子情報通信学会技術研究報告. HCS，ヒュ-マンコミュニケ-ション基礎，Vol.96Num. 243：1-6，1996.
[4] 小林 正幸， 西川 俊， 石原 保志， 高橋 秀知，“聴覚障害学生のためのリアルタイム字幕提示システム（3），電子情報通信学会技術研究報告，”ET97-94：25-29，1997.
[5] 三好 茂樹，河野 純大，西岡 知之，石原 保志，白沢 麻弓，西川 俊，小林 正幸，“Web ベースで実現した新しいリアルタイム字幕提示システムの開発とその経緯”，ヒューマンインタフェースシンプジウム2004：661-664， 2004.
[6] 三好 茂樹， 河野 純大， 西岡 知之， 石原 保志， 白沢 麻弓，西川 俊， 小林 正幸，“Webベースのリアルタイム字幕提示システムの開発”， 第38回全日本聾教育研究大会（三重大会）研究集録： 167-168， 2004.
[7] 河野 純大， 三好 茂樹， 西岡 知之， 加藤 伸子， 村上 裕史，内藤 一郎， 皆川 洋喜，白澤 麻弓，石原 保志，小林 正幸，“遠隔地リアルタイム字幕提示システムを用いた専門性の高い講義に関する基礎的検討”，電子情報通信学会技術研究報告. WIT-2004-83： 57-60， 2005.
[8] 三好 茂樹，河野 純大，西岡 知之，石原 保志，白澤 麻弓，西川 俊，小林 正幸，“Webベースのリアルタイム字幕提示システムとその利用形態”，聴覚障害教育工学， VOL.28，NO.1： 6-10，2004.
[9] 三好 茂樹，河野 純大， 西岡 知之， 加藤 伸子， 村上 裕史，内藤 一郎， 皆川 洋喜， 白澤 麻弓， 石原 保志， 小林 正幸，“遠隔地リアルタイム字幕提示システムにおける字幕作成者に対する補助情報提示について”，電子情報通信学会技術研究報告， WIT2005-5： 35-38， 2005.
[10] 三好 茂樹， 西岡 知之， 河野 純大， 加藤 伸子，村上 裕史，内藤 一郎， 皆川 洋喜， 白澤 麻弓， 石原 保志，小林 正幸，”ゼミ形式授業の遠隔情報保障におけるWeb版リアルタイム字幕提示システム”，ヒューマンインタフェースシンポジウム2005 講演論文集，Vol.2： 661-664，2005.

Improvements of Real-Time Remote Stenocaptioning System for Deaf and Hard-of-hearing

Shigeki MIYOSHI1)　Sumihiro KAWANO2)　Tomoyuki NISHIOKA2)　Mayumi SHIRASAWA1)　Hiroki MINAGAWA2)　Haruhiko CHONAN1)　Nobuko KATO2)　Hiroshi MURAKAMI2)　Ichiro NAITO2)　Hayato KUROKI1)　Yasushi ISHIHARA1) and Masayuki KOBAYASHI1)

1) Research and Support Center on Higher Education for the hearing and Visually Impaired, National University Corporation Tsukuba University of Technology
2) Department of Industrial Information, National University Corporation Tsukuba University of Technology

Abstract: Stenocaptionists can assist, from a remote place, in the delivery of lectures to deaf and hard-of-hearing
students by inputting lecturers’ notes at real-time into a computer using a special keyboard. Our system is used by
various events and lectures of NTUT, other education organizations and societies. We attempted improvements of
systems corresponding to two communication media (ISDN and Internet).
Keyword: Real-Time captioning , ISDN, Internet, Remote, Stenocaptionist, deaf, hard-of-hearing