高大連携事業におけるARを用いたイマーシブデザイン教育の実践 西岡 仁也，横井 聖宏 筑波技術大学 産業技術学部 総合デザイン学科 要旨：本活動は拡張現実（Augmented Reality，以降「AR」）を聴覚障害者のデザイン教育に取り入れるための「教材作成」，「講義の実践」，「実践をフィードバックした展開」に取り組んだ。ARコンテンツの開発環境はこれまで簡易的なアプリケーションや専門的な知識が必要な開発環境の二極化した状況であった。Adobe Aeroを導入することにより，受講生やデザイナーはARを用いたコミュニケーションやデザインに集中することが出来るようになったと言える。複数のろう学校を対象とした体験授業の実施によって，受講生にとってAR空間をデザイン可能なメディアであることを啓蒙した。結果，受講側にその技術を用いた応用など新たな展開が見られ，ARを用いたイマーシブデザインへの理解が進んだと言える。 キーワード：デザイン教育，高大連携事業，AR技術，イマーシブデザイン，グラフィックデザイン １．はじめに 　2023年現在，拡張現実（Augmented Reality，以降「AR」）は，仮想現実（Virtual Reality，「以降VR」），複合現実（Mixed Reality，以降「MR」），などとともに没入型の体験をデザインする「イマーシブデザイン」の例として注目されている。また，それらを包括的にXR（Extended Reality）と呼ぶ場合もある。ARは，スマートフォンやタブレットなどのカメラを使用して映し出した現実の映像に電子空間（以降「AR空間」）の情報の層を重ね合わせて提示される。その初期のアプリケーションと言える「セカイカメラ（2008-2014）[1]」ではGPSとも連動し位置情報や画面への表示をユーザー間で共有できた。そうした機能は個人ユーザーだけでなく企業による活用も模索された結果，現実の「拡張」によって得られる価値の提示が行われ，今日のAR技術を用いたアプリケーションへ影響を与えた。 　デバイスの面では，手持ち型ディスプレイと比べ目前にディスプレイを設置するゴーグル型のヘッドマウントディスプレイ（以降「HMD」）やグラス型ディスプレイは没入感が高い。近年はゴーグル外側のカメラの映像をHMD内に表示する「パススルー」方式によるMRが注目されメタ社やアップル社など開発が活発である。メタバースをはじめとする没入型の体験や今後のデジタル活動の一端が，そうした新たなHMDの画面内に表示されることは想像に難くない。しかしながら，ゴーグル型デバイスを日常的に使うにはユーザーへの負荷が大きく，手持ち型デバイスによって手軽に実行できるARの利点は残ると考えられる。 ２．先行研究，教育への導入事例と本研究の位置づけ ２．１　先行研究事例 　デザインに関連する分野のARを用いた先行研究事例では，建築分野において積極的な活用例が複数散見される。プロダクトデザインやグラフィックデザインの分野の研究でAR技術に関わる研究は少ないが，植物園における館内鑑賞支援のデザイン[2]や，博物館のコンテンツデザインの研究[3]など，展示物と解説文のみの従来の展示に加え，AR技術を用いて解説の方法の提示や新たな展示観覧体験を提供するための研究や事例が見られる。 　あるいは，観光地の新たなコンテンツや[4]，イベントなどのキャンペーンのほか，毎年グラフィックデザインを顕彰しているJAGDA 賞（2022）ではAR技術を用いたものが選出されている[5]。 　これらはいずれもARによって実在しない事物を現実に重ねることによる演出や，新たなコミュニケーションや機能性の模索として行われている。一方，教育分野では，医療系においては早くから機器のカメラと遠隔操作のためのARやVR技術が発達している。その他，教育の演出に着目した事例が見られる[6]。しかしながら，聴覚障害者を対象としたARのデザイン教育の事例は見当たらない。 ２．２　ARの方式と分類 　ARの方式は次のように分けられ，図1で細かく分類した。 ・マーカー型（画像認識型） ・GPS型（位置認識型） ・空間認識型（現実の空間を認識） ・物体認識型（現実の物体を認識） ２．３　デザイン教育におけるARの状況とAdobe Aero 　今日，AR空間はメディアの一部として位置付けられるが，ARの技術をデザイン教育の観点から見た場合に，簡易的なアプリの使用または，アプリケーション開発の二極化した状況であった。そのためデザイン教育として取り組むには環境の整備が難しく，多くのデザインに関わる高等教育機関でDTPや3DやCADは取り入れてもARが取り扱われてこなかった。 　そうした状況の中，2019年にグラフィックデザイン系の制作及び教育で使用されるアプリケーション提供企業としてはデファクトスタンダードと言えるAdobe社から， AdobeAeroがβ版としてリリースされた。Adobe Aeroはプログラミングを使うことなくマーカー方式のARを作成することができ，アニメーションやインタラクションにも対応している。他のAdobe社製品との連携ができるため，すでにアドビ社製品で制作されているデザインリソースの活用や，教員側と受講生側の共通した環境構築が容易である。そのため，AdobeAeroを使用した方法論がARを用いたデザインにおける標準的なフレームワークとして機能し得ると考えられる。 　結果，デザイン系の教育へARの導入の敷居は高くなくなり，受講生がAR用の電子空間の設計やARを用いた体験のデザインに集中出来る環境が整ったと言える。しかしながら，Adobe Aeroはβ版であることからもデザイン教育の現場での知名度が低く，それを用いてどのようなことが出来るかについて知られていなかった。そこで，周辺のアプリケーションを含めた現在のARデザインの状況および，ARを用いたイマーシブデザインによってできることを啓蒙する必要がある。 図1　ARの分類（分類は先行研究や運用事例から筆者による） 3．目的 　本研究の目的は以下である。 （1）没入型デザインの教材作成のための整理と体系化 （2）AR空間を用いたグラフィックデザインの拡張技術の習得を目指した教育 （3）ARを用いたコミュニケーションに関する企画立案力の習得を目指した教育 （4）インタラクションのための論理的思考とコンテンツ実装技術の習得を目指した教育 （5）聴覚障害者のデザイン教育において，初級者でもわかりやすく興味を引く教材の作成とARの啓蒙 4．教材の作成と実施方法 　本活動は，2023年2月に筑波技術大学高大連携事業において，連携校である北海道高等聾学校からの要請を受けて体験授業として始まった。本活動の前身としては，「名刺の拡張的なデザイン」をテーマとして，2021年2月に同北海道高等聾学校で実施した経緯があり，かねてよりARへの需要があったことがうかがえる。その際には，現実の名刺デザインを行い， QRコードを通してインターネット上の動く名刺コンテンツへアクセスするものであった。これにより，現実の物質へ定着されたデザインから，インターネット上の情報へ繋げ，表示内容や表現の拡張を可能にした。今回の活動はその延長として，没入型の体験に触れることが教育内容の更新からも最適であると考えた。 ４．１　学びの実践 　前項で挙げた「目的」の実現へ向けて各項目を次のようにまとめた。 （1）没入型デザインの教材作成のための整理と体系化受講生には図1で挙げた分類から，事例を紹介し，以下のARが用いられる状況と狙いを概説した。 ・イベントやテーマに関連するオブジェクトの配置 ・過去の事物やキャラクターなど実在しない対象 ・家具などのシミュレーションコンテンツ ・スケールによる驚きや発見 ・解説の拡張やAR 図鑑コンテンツ ・ゲームコンテンツ ・空間を用いたインタフェースとしての活用 　続けて，Adobe Aeroを用いてどのようなことが出来るか，イメージを掴むために作例を複数体験した。そして，企画についてディスカッションし，ARを用いたインタラクションのアイデアを立案する。 （2）AR空間を用いたグラフィックデザインの拡張技術の習得を目指した教育 　Adobe Aeroは3Dオブジェクトや空間を扱うため，オブジェクトの操作やカメラの操作から始めた。続けて，プリセットデータを含め，オブジェクトの配置や移動，回転，拡大縮小方法を身につける。この時点で「データ共有」によってAR を生成し，準備したタブレット端末や自身のスマートフォンで体験を確認し，イメージを掴む。 　使用した素材はAdobe Illustrator内でオブジェクトを作成し「３Dとマテリアル」を使用し（図2），３Dオブジェクトデータとして書き出した。既存の写真やデザインも活用できる。 （3）ARを用いたコミュニケーションに関する企画立案力の習得を目指した教育 　（1）に加え，図1の分類「なぜ」，「いつ」，「どこで」「誰が」，「何を」，「どのように」ARを用いることによって驚きや発見，あるいはデザインによる問題解決の可能性があるのかを問い，AR技術へのデザインの関わり方について，理解の向上や自発的な応用を促す。その際思考の整理のために白紙を配り，アイデアの列挙や，スケッチにより考えていることを「見える化」し，適宜ディスカッションを行い，出したアイデアについて，「なぜそう思うのか」，「どのように発展できるか」について問うことにより明確化する。 （4）インタラクションのための論理的思考とコンテンツ実装技術の習得を目指した教育 　Adobe AeroはAR空間へ配置したオブジェクトに対し，下記4種類のトリガーを設定でき，表示，非表示や各種アニメーションをつけることが出来る（図3）。 ・「開始」 ・「タップ」 ・「近接開始」 ・「近接終了」 　ARを用いたインタラクションに初めて触れる場合には，AR空間を開いた時点でアニメーションやインタラクションが始まる「開始」と，AR空間において画面内のオブジェクトをタップすることによりインタラクションが始まる「タップ」を推奨した。なお， AR空間が等身大の移動を伴うスケールの際には，空間内での「近接」がAR空間への働きかけや，ゲーム性などを表す際のインタラクションとして機能する。 　これらを設定する際には，特別なプログラミング言語は必要ないが，「何をしたとき」に「どう反応するか」を論理的に考えてプログラムする必要があるため，必要に応じてフローチャートを書くなどの措置が必要だと考えられる。また，オブジェクトの配置に当たっては，アイデアを実現するにはどのようなスケールとシチュエーションで誰に見せるのかは重要である。そのため，AR実行媒体を持ち歩く場合には，ヒューマンスケールでの三次元的なオブジェクトの見え方や大きさを調整する必要がある。展示などで使う場合には，他の人とぶつかることがないような工夫や，様々な角度から見せるための立体的な見え方の工夫が求められる。同様に，一つの対象物を表示する際にもパーツを分けて配置するなど，平面的なオブジェクトを層になるように配置することで，角度を変えて見た際に立体的な驚きや空間の探索などが生じる。 （5）聴覚障害者のデザイン教育において初級者でもわかりやすく興味を引く教材の作成 　以上をまとめて，Adobeの使用可能なPCおよび，パワーポイントによる資料提示と，AR実行用のタブレット端末の準備，ならびに講義中のサポートの体制を作る。なお，説明にあたっては画面への提示，資料の配布加え字幕や手話を用いた情報保障を徹底し，進行状況や理解度を確認しながら授業を進めた。 ４．２　授業の流れ 　講義は合計8時間程度の制作まで行う場合と，30分程度の体験授業および，講義に対応した（図4）。 （1）6から8時間の体験授業の場合 ・ARを用いたイマーシブデザインに関する講義 ・AR作例の体験 ・ARを用いた新しいコミュニケーションの企画立案 ・Adobe Illustratorを用いた文字をベースとした素材作成 ・3D機能を使用し厚みや回転体などを使用し書き出し ・Adobe Aeroを使用し，上記オブジェクトの読み込み ・その他3Dオブジェクトの読み込み ・AR空間への配置 ・アニメーションおよびインタラクションの設定 ・ARの書き出し （2）30分の体験授業の場合（制作あり） ・ARを用いたイマーシブデザインに関する講義 ・AR作例の体験 ・Adobe Aeroを使用し，プリセットデータの読み込み （3）30の場合（講義のみ） ・ARを用いたイマーシブデザインに関する講義 ・AR作例の体験 ４．３　活動実績 ・北海道高等聾学校における体験授業 時間：2023年2月，2時間×3回の実施 内容：Adobe Illustratorを用いて素材データを作成し，3D効果をつけた上で書き出し，Adobe Aeroへの配置し制作 ・北海道高等聾学校におけるARを用いた展開 時間：2023年6月，4時間×2回の実施 内容：8月に小樽文学館で行われる展示会へのARの活用をテーマとして， Adobe Aeroによる見せ方の検討と制作 ・筑波大学附属ろう学校見学会における体験授業 時間：2023年6月，30分間の体験授業の実施 内容：講義およびAR空間へのオブジェクトの配置と確認 ・出張オープンキャンパス仙台会場，体験授業の実施 時間：2023年6月，30分間の体験授業の実施 内容：ARとコミュニケーションとデザインに関する講義 ・東京都立葛飾ろう学校における体験授業 時間：2023年8月，2日間，合計7時間の実施 制作物：Adobe Illustratorを用いた文字の3D書き出し，Adobe Aeroへの配置等の制作 図2　Adobe Illustratorとの連携の解説 図3　トリガーの設定とアニメーション解説 図4　授業風景およびARのテスト 5．結果 　北海道高等聾学校では，実施した年の卒業制作展にAR技術を用いた作品展示があった旨の報告を受けた。また，その展示を閲覧した市立小樽文学館より，展示へAR技術を活用したいと同校が打診を受け，本学高大連携事業への技術協力の要請があった。そうして，2023年6月にARを用いた次の展開としてARを用いた展開に関する高大連携事業を実施した。その際，北海道高等聾学校を2023年3月に卒業し同年筑波技術大学へ入学した学生2名が講師として参加し，AR技術の説明および，Adobe Aeroの使い方について後輩に教えるという，教育の拡散と循環が実現された。同活動は 2023年8月に筑波技術大学オープンキャンパスにて報告会を実施し，同8月から10月まで展示会「人食いの時代（戦前の小樽市を舞台とした同名の小説[7]を題材とした展示において，作中に登場するバスや世界観についてARを用いて表した）」が小樽文学館において開催され，本活動の影響が現れる形となった。 　また，2023年8月には東京都立葛飾ろう学校との体験授業において，参加した生徒からは「はじめは難しいと思っていたが，実際に作ってみたら思ったよりも分かりやすかった」などの反響が得られた。同校教員との打ち合わせにおいては，今後のイベントなどに活用される可能性が示唆された。その他，短時間の体験授業においても可能性を示す程度ではあったが，参加者からは関心や驚きを持って迎えられるなど，本活動は高校生および専攻科を対象としたデザインの新たな試みとして定着し，概ね好評であったと言える。 6．展望・おわりに 　本活動において，AR空間に配置したオブジェクトは文字，図形，画像，プリセットの素材を基本として作成した。しかしながら，AR空間を用いて更に応用的なコミュニケーションやコンテンツを作成するためには，3Dオブジェクトが必要不可欠である。そのため，３Dモデリングと合わせてデザインを企画することが考えられる。あるいは，2022年に九州大学が公開した日本の動植物のデジタル標本[8]の活用として，ARを用いたデジタル図鑑のデザインなど，無償公開されているリソースを教育，研究目的で活用する可能性も考えられる。 　また，本レポートで扱った内容は高大連携事業に関する内容であることから，対象は基本的に高校生や専攻科である。そのため，基礎的な知識からある程度の応用まで含めているが， ARの初級的な内容となっている。 　そのため，大学のデザイン教育の内容としては相応しい専門性，すなわち研究的側面及び社会へ機能する側面を追求する必要があると考えられる。引き続き本活動では聴覚障害者を対象としたARを用いたイマーシブデザインに関して教育活動を進める。 　なお，現行バージョンのAdobe Aeroの起動方式はマーカー型のみの対応（起動後は画像認識可能）であることや，GPSとの連動ができず，WEBページをAR空間内に表示できないなど，UXデザイナーがARを主要なメディアとして活用するためには，さらなるバージョンアップや正式版のリリースを待つ必要がある。 参照文献 [1] ITmediaエンタープライズ，セカイカメラ入門――世界にタグをつけまくろう（cited 2023-9-25），https://www.itmedia.co/jp/bizid/articles/0909/30/news113.html [2] 趙 セイタク，海老 春香，楠 房子，稲垣 成哲，植物園における館内鑑賞支援のデザイン，日本科学教育学会研究会研究報告，2022; 37 (2): 29-32. [3] 楠 房子，多摩美術大学，博物館での親子の協働体験を支援するARを用いたコンテンツデザインの研究，科学研究費助成事業, 2022- 2025. [4] 三浦 剛，松下 征悟，古都奈良の魅力を発信するAR技術を使った観光地案内アプリ制作とICTデザイン教育，JSiSE研究会研究報告，2018; 32 (6): 133-137. [5] AXIS Web Magazine，第24回亀倉雄策賞 大貫 卓也の「HIROSHIMA APPEALS」に決定（cited 2023-9-25），https://www.axismag.jp/posts/2022/02/447268.html [6] 斉 礼，佐々木 和郎，AR技術に基づく漢服の教育的演出に関する提案，画像電子学会研究会講演予稿，2017; 04 (0):126-128. [7] 山田 正紀，人食いの時代，徳間書店，1988. [8] 九州大学，世界に先駆けてリアルな「3Dデジタル生物標本」を1400点以上公開，（cited 2023-9-25），https://www.kyushu-u.ac.jp/ja/researches/view/802/ Implementation of immersive design education using AR in high school and university collaboration projects NISHIOKA Yoshiya, YOKOI Takahiro Department of Synthetic Design, Faculty of Industrial Technology, Tsukuba University of Technology Abstract: This study was undertaken to incorporate Augmented Reality (AR) into design education for the hearing impaired, focusing on the “creation of educational materials,” “implementation of lectures,” and “expansion based on feedback from practice.” The development environment for AR content had previously been polarized between simple applications and environments requiring specialized knowledge. With the introduction of Adobe Aero, it can be said that students and designers can now concentrate on communication and design using AR. By conducting experiential lessons targeting multiple schools for the deaf, we raised awareness among the students about the potential of AR space as a designable medium. Consequently, new developments, such as applications using the technology, were observed from the students’ side, and it can be said that understanding of immersive design using AR has advanced. Keywords: Design education, AR, Immersive design, Graphic design, High school and university collaboration project