慶應理工の拡張現実（ＡＲ） 空間性と身体性が導く人と情報のインタラクション

拡張現実で変わるコミュニケーションのカタチ

近年、スマートフォンのアプリやゲーム、広告・販促のメディアツールなど、さまざまな分野で「拡張現実」のキーワードとともに活用が広がる Augmented Reality（AR：拡張現実感）。その具体例を紹介しつつ、AR の新しい手法を切り拓き、次代のコミュニケーションツールの研究を手がける杉本麻樹専任講師の取り組みについて紹介しよう。

現在、情報工学科の杉本さんが手がけているのは、拡張現実感（AR）と呼ばれる研究分野だ。AR とは、SF 映画やゲームの世界でおなじみの人工現実感（Virtual Reality=VR）から派生した研究の一分野である。
「VR の 研 究 が お も に コ ン ピ ュ ー タの 中 に 構 築 し た 情 報 環 境（VirtualEnvironment）にユーザーを没入させるような感覚情報をつくりだすことを目指すのに対し、拡張現実感では、私たちが普段生活している実環境を基盤にして、その上にコンピュータからの情報を重ね合わせることにより、実環境に即した感覚の拡張を実現しています（図 1 右）。つまり、現実世界の上にリアルタイムに、コンピュータの中の情報環境を重ね合わせることで、私たちが自然に情報に触れ合える環境を目指しているのです」と、杉本さんは言う。
近年、AR への関心が高まったきっかけには、2007 年に NHK で放映されたアニメ『電脳コイル』の影響がある。『電脳コイル』では、小型の HMD（HeadMounted Display）を装着した子どもたちが、AR を日常的に体験するシーンが描かれている。
一方で、奈良先端科学技術大学院大学の加藤博一教授が開発したソフトウェア「ARToolKit」の存在も AR の普及に貢献してきた。これは、紙に印刷されたパターンをカメラで読み取り、画面上に仮想的なキャラクターやオブジェを出現させるというもの。オープンソースということもあり、ARToolKit によって制作されたキャラクター動画などが、動画投稿サイトに多数投稿されているほか、近年では、同様の技術を使ったゲームソフトや広告・販促のためのメディアツールが普及しつつある。
「たとえば、車のパンフレットをカメラにかざすと、画面上に車体のコンピュータグラフィックス（CG）モデルが描かれ、走行状態や内部構造を確認できるといったものもあります。あるいは、カードゲームと CG を組み合わせた対戦ゲームが人気になるなど、いまや AR は、広告やエンタテインメントに欠かせない技術になっているのです」。

一口に AR と言っても、その手法はさまざまだ。現在、一般的なのが「ビデオ・シースルー」という方式で、先述の ARToolkit のように、カメラで撮った映像の上にディスプレイ上でコンピュータの中の情報を重ね合わせて AR を実現する。一方、透過型のディスプレイを用いた「オプティカル・シースルー」と呼ばれる方式では、ハーフミラーやシースルー型 HMD を装着し、CG と光学的に見ている実像を重ね合わせる。さらに実環境にプロジェクタで仮想映像を投影することにより実環境を変える、「空間型AR」という方式もある。2012 年、リニューアルした東京駅丸の内駅舎で開催された「プロジェクション・マッピング」がまさにそれだ。
「AR は作業支援でもきわめて有用です。たとえば、手術時に患者さんの体にあらかじめ撮影しておいた CT や MRI画像を重ねて見せることで、切除箇所を明確に示すといった応用が始まっています。また、最近ではスマートフォンやモバイル情報端末の普及により、位置情報とカメラを組み合わせた『Layar』など、一般の人が気軽に使えるサービスも増えてきました」。AR は近年の普及に伴いディスプレイ上の感覚情報だけでなく、実環境そのものをダイレクトに変化させることを含む、幅広い概念「拡張現実」として捉えられるようになってきた点が面白く、研究のしがいがあるのだと杉本さんは言う。

そうしたなか、杉本さんが現在、手がけているのが、実環境に視覚情報を投影する動的な空間型 AR の試みだ。
「プロジェクタやロボットといったデバイスを使うことにより、コンピュータの中の情報を直接、実空間に投影しようとしています。
たとえば、車両型のロボットによる対戦ゲーム『Augmented Coliseum』では、プロジェクタから投影される目印となる画像（指標画像）をロボットにつけた光センサで読み取ることによって正確な位置と姿勢を割り出し、動きを制御します（図 2 上）。いわば “光の定規” を動的に投影することで、高精度な AR 環境を実現しているのです」。
この方式の最大のメリットは、ロボットにつけられた 5 つのセンサが読み取る情報だけで、高い精度で位置を割り出せることにある。一般的な画像センサに比べて、大幅にコンピュータの計算量を減らすことができ、リアルタイムにロボットを動かすことが可能なのだという。
また、AR 環境において手元のロボットと遠隔のロボットの動きをリアルタイムに同期させる研究も手がけている。
「たとえば、テーブルの上で建物内部のモノの配置を決めようというときに、目の前のオブジェを実際に手で動かすと、遠隔にいる人の目の前にある同形のオブジェも同期して動くというわけです。ぐっとリアリティが増します」。
関連して、コンピュータの画面上の情報を、小型のクマ型ロボットに装着した光センサで読み取り、その情報に合わせて多様なジェスチャをさせるコミュニケーションツールの開発も手がけている。
「拡張現実感を用いて実現したいのは、人と情報の間の柔軟なインタフェースです。実環境にある身体性を大切にしながら、空間性をもった情報提示を行うことで、抽象化された情報を具現化し、人と人との円滑なコミュニケーションに貢献できたらと考えています」。

両親は美大の出身で、父と母は東京のインダストリアルデザインの会社に勤めていたのですが、あるとき、田舎で自給自足の生活をしたいと東京から長野へ。のびのびと自然豊かな環境の中で子どもを育てたいという両親の教育方針もあって、小学校の高学年くらいまでテレビのない暮らしをしていました。幼い頃はそれこそ、毎日、野山を駆け回って遊んでいましたね。

学部1年のときに、当時、東京大学にいらした舘暲（たちすすむ）先生（現・慶應義塾大学特任教授／東京大学名誉教授）らが主宰していたIVRC（国際学生対抗バーチャルリアリティコンテスト）という大学生向けのコンテストに出場したのがきっかけです。
大学入学と同時に入ったサークルの先輩たちが、前年度にこのコンテストで優勝していたことから興味を持ちました。
先輩たちが手がけたのは、「バーチャルボブスレー」という装置です。ちょうど長野オリンピックが開催される直前のことで、ボブスレーコースの模型をつくって、バーチャルにボブスレーが体感できるという本格的なものでした。実を言うと、先輩たちは前年度にがんばりすぎたせいか、もう出たくないと言っていたのですが、そこを説得してチームで出場に漕ぎ着けました。
大学1年のときに最初に手がけたのは、水槽の中にある操作対象に自己投射した感覚をつくりだすテレイグジスタンス（遠隔臨場感）のシステムでした。初挑戦でしたが、日本バーチャルリアリティ学会奨励賞を受賞しました。翌年以降も多くの仲間や、その後に卒論でお世話になる先生方の助けを借りながら出場し、３年目には、３次元空間として表現したコンピュータの記憶装置のフォルダ構造の中を自由に歩き回れるシステムを制作し、奨励賞と技術賞を獲得しました。特に技術賞はそれまで、優れたメカを開発することで有名な東京工業大学ロボット技術研究会のチームが独占していたので、自分たちが受賞したときはとても嬉しかったですね。
このコンテストを通じて、修士課程修了後にお世話になった前田太郎先生・安藤英由樹先生（現・大阪大学）、博士課程の恩師である稲見昌彦先生（現・慶應義塾大学）など、最先端のヒューマンインタフェース研究者と一緒に研究する機会を得たことで、研究の面白さを実感するようになりました。
特に博士課程の研究のなかで、稲見先生と時空間分割多重による光計測の技術を手がけていたときに、自分が考案した輝度勾配指標（光の濃度の指標）を用いて光学素子の位置をリアルタイムに計測するという基本的な考え方を発展させることができたのは有意義でした。SIGGRAPH Emerging Technologies など、最先端の学会で好評を得たことが自信となり、研究を続けていきたいと強く思うようになりました。