日常生活のすべてが、研究課題の発見の宝庫
子供の頃から父親の影響でプラモデルやロボットを作っていたという杉浦さんは、導かれるようにヒューマン・インタフェースの研究の道へ進んだ。日常生活の実体験から課題を発見することで、これまでにない新しい成果が次々と生み出されている。こうしたアイデアが生まれる背景には、コミュニケーションを重視した研究の環境づくりにも秘密がある。
2013 年3 月、慶應義塾大学大学院メディアデザイン研究科博士後期課程修了、博士(メディアデザイン学)。2014 年4 月より、同大学特任助教。2015 年4 月より、産業技術総合研究所人間情報研究部門デジタルヒューマン研究グループ特別研究員。2016 年4 月より、慶應義塾大学理工学部情報工学科助教。2018 年4 月より専任講師。2020 年4 月より准教授(現職)。ヒューマンコンピュータインタラクションに関する研究に従事。
「新版 窮理図解」では、毎回ひとりの研究者を取り上げて紹介します。
今回登場するのは、柔らかい日用品にヒューマン・インタフェースの機能を付加し、さまざまな分野への応用研究をしている杉浦裕太准教授です。
日常に溶け込んだコンピュータが私たちの生活をより良いものに
人とコンピュータの間をつなぐ“ヒューマン・インタフェース”は、いまや私たちの生活に欠かせないものになっている。情報工学科の杉浦さんは、クッションやぬいぐるみなど身近にある柔らかい日用品にヒューマン・インタフェースの機能を付加することで、私たちが意識することなく生活を支援してくれるようなシステムを開発している。その応用分野は、子育てやオーケストラの演奏、病気の発見など非常に幅が広い。
「ヒューマン・インタフェース」とは、名前の通り、人とコンピュータの接点(インタフェース)を意味するもので、人とコンピュータの間で情報をやりとりするための機能だ。身近な例では、コンピュータのマウスやキーボード、スマートフォンなどである。近年、コンピュータの小型化や通信スピードの高速化が進み、ヒューマン・インタフェースの可能性や役割は大きく広がっている。こうした中、杉浦さんは日常生活で使っている“柔らかいもの”に着目し、既成概念を覆すこれまでにないようなヒューマン・インタフェースの研究開発に取り組んでいる。
「私たちの日常の身の回りには、ソファやクッション、ぬいぐるみ(図1)、布団、カーテンなど柔らかいものがたくさんあります。このような柔らかい日用品にヒューマン・インタフェースの機能を付加することによって、意識的にコンピュータを操作しなくても、自然に人の行動を計測したり、コンピュータから人に情報を伝えたりできるようになるのではないかと考え、さまざまな技術やシステムの開発をしています」。
図1 ぬいぐるみの手足を動かすデバイス モーターのついたリング型のデバイスをつけると、ぬいぐるみの手足や尻尾を動かすことができる。ぬいぐるみの中に硬いデバイスを入れる方法だと、手触りが硬くなってしまったり、ぬいぐるみを切り裂かなければならなかったりする。本来の柔らかさを損なわずに身近にあるぬいぐるみをアクセサリー感覚でロボット化できる方法にこだわった。
杉浦さんの研究室では、ヒューマン・インタフェースの基盤技術の構築とともに、多様な分野の専門家と共同で、数多くのユニークな研究を展開している。
例えば、赤ちゃんの抱き方をトレーニングするスマートフォンのアプリがある。このアプリをインストールしたスマートフォンをぬいぐるみやクッションに装着すると、これを赤ちゃんに見立てて、正しい抱き方を教えてくれる(図2)。
「私にも子供がいますが、生まれたばかりのときは、首がすわっていない小さな新生児をどう抱っこしていいかわからなかったので、生まれる前に抱っこのトレーニングができたらよかったと感じていました。そんなときに、助産師の経験があり、現在は臨床心理を研究している神奈川大学の麻生典子准教授から共同研究の話が持ちかけられました。抱き方が間違っていると、赤ちゃんが泣きやまないこともあり、そうなると親もストレスを感じて、最悪の場合は虐待にまでつながりかねません。私たちが開発したツールによって、子育てが少しでも楽になるような支援ができればと思っています」。
図2 赤ちゃんの抱き方をトレーニングするアプリ ぬいぐるみなどにこのアプリをインストールしたスマートフォンを装着すると、スマートフォンに内蔵されているセンサーが赤ちゃん(ぬいぐるみ)の体勢を検知し、スマートフォンの画面に「赤ちゃんの体をもっと自分の胸の方に傾けて」などと表示して、事前に記録した助産師の抱き方へ誘導してくれる。これには柔らかいものをセンシングする技術を活用している。
子育ての経験だけでなく、趣味も研究のアイデアにつながっている。幼少期からバイオリン演奏に親しみ、学生時代にオーケストラに所属していた杉浦さんは、「いつか視覚に障害のある方々と一緒に楽器の演奏がしたい」という夢を抱いていた。視覚障害者は指揮者の動きが見えないため、曲のテンポや強弱の表現などをつかむのが難しく、オーケストラに参加することが難しい場合がある。そこで杉浦さんは、指揮者が振る指揮棒の動きに連動して振動するデバイスを、演奏者の椅子の背もたれの柔らかいクッションにとりつけて、指揮棒の動きを背中で感じとるシステムを開発した(図3)。
実際に、全盲のホルン演奏者にこのシステムを使ってもらったところ、「普段はまわりの人の呼吸の音を頼りに演奏しているが、こうしたデバイスを併用すると、よりテンポに合わせやすい」と好評だった。今年の12月には、公開実験を兼ねて矢上キャンパスで演奏会を開催する予定だそうだ。
図3 視覚障害者が指揮棒の動きを柔らかいクッションを通じて背中で感じるシステム 指揮者が振る指揮棒についたマーカーを特殊なカメラで撮影して指揮棒の動きを計測し、リアルタイムで背中のクッションの装置に伝達する。指揮棒の動きに合わせてクッションの中の装置が振動するので、触覚情報として指揮棒の動きを背中で感じとることができる。
さらに、医療分野の研究者と共同で、病気の早期発見を目的としたツールも開発している(図4)。加齢や手の使いすぎにより、手指のしびれや痛みなどが発生する「手根管症候群」という病気がある。この病気は進行すると手術が必要になる場合があるため、早期に発見し、治療することが重要になる。
杉浦さんは、ゲームをするだけで、手根管症候群かどうかを推定できるスマートフォンのアプリを開発した。手根管症候群は、進行すると親指が動かしにくくなるという特徴がある。そこでこのアプリは、ゲームをしているときの親指の動きのデータを取得し、機械学習で手根管症候群かどうかを推定するのである。そして病気の可能性が高ければ、スマートフォンの画面に「病院に行ってください」とアラートが表示される。
いずれは、フリック入力などふだん行うスマートフォンの操作から指の動きのデータを取得して、病気を推定するようなアプリの開発も考えているという。また、スマートフォンだけでなく、高齢者が集まるシニアステーションなどのスリッパに、歩行機能を測定できるようなデバイスを取りつければ、スリッパを履くだけで歩行の異常を発見できるようになる。杉浦さんはそんな展開も見据えている。
「命にかかわる病気ではないからと放置していると、転倒して骨折し、筋力が落ち、さらに転倒しやすくなる…と負のスパイラルに入ってしまいます。日常に溶け込むようなデバイスで異常を発見し、病院に行くように促すことができれば、病気が重くなる前に改善することができます。また、人の行動や動作だけでなく、情動や感情の状態まで計測できるようなデバイスの開発も進めたいと思っています。例えば、自分の気分が下がっているときに、ソファに取り付けてあるデバイスがそれを検知して、元気になるような音楽を自動的に流してくれたりする。そのような“使うことを意識しないコンピュータ”が生活を支援してくれるような未来社会をつくれたらと考えています」。生活のあらゆる場面につながっている杉浦さんの研究が今後どう展開していくか、ますます楽しみだ。
図4 手根管症候群を判別するスマートフォン用のゲームアプリ これは親指でうさぎを動かし、表示される食べ物を取るゲーム。このときの親指の動きを計測し、機械学習で「手根管症候群」かどうかを推定する。専門医による身体所見と同等かそれ以上の精度で病気を推定できることが確認された。これは東京医科歯科大学の藤田浩二教授と共同で開発した。
杉浦裕太准教授に聞く
私は5人兄妹の長男で、母は小学校の教員をしており、父は自営業でいろいろな機械の設計をしていました。父は趣味でも工作をしており、余暇でもリビングで何かしらものを作っていました。床に工具が転がっていたり、家の中に大型の自動工作機械があったり、そんな中で生活していたので、私も工作をすることが当たり前になっていました。小・中学生のときは、プラモデル、ミニ四駆、ラジコンに熱中しましたね。ラジコンは、自分で材料の木を切って、モーターをハンダ付けして組み立てるという、かなり本格的なもので、車、船、飛行機を作り、陸海空を制覇しました。
作ったラジコンをもって、近くの河川敷でよく遊んでいたのですが、最近知ったところによると、当時ラジコンで遊んでいた場所は、今、慶應義塾大学のキャンパスの一部になっているようで、不思議なつながりを感じています。
高校時代は、二足歩行ロボットを作って、ロボット同士を戦わせる大会に参加していました。ロボットはラジコンより難易度が高いので、勉強会に参加して学んだり、独学で勉強したりして、知識を身に付けました。弟たちも工作が好きで、私と次男、父と三男でそれぞれペアを組み、大会に出場していました。さらに大会だけではなく、地方や海外に遠征をして、お客さんの前でロボットのパフォーマンスを行い、出演料をいただいたりもしていました。ラジコンもそうですが、昔から何かを作って、それを思った通りに操作したいという興味があったのだと思います。
中学校では剣道部、高校ではフェンシング部に入っていました。フェンシングはインターハイに出場し、北京オリンピックで銀メダルを獲得した太田雄貴さんのチームと団体戦で対戦しました。その試合には負けてしまいましたが…。
なお、幼少期からバイオリンを習っていて、大学ではオーケストラのサークルに所属していました。そのオーケストラのサークルで妻と出会い、今、2歳と0歳の男の子がいます。「そのうち子供たちと一緒に楽器の演奏ができたらいいね」と妻と話しており、子供たちに何の楽器を習わせようかと悩んでいるところです。子育てやオーケストラの経験は、研究にも結び付いています。やはり自分が当事者になると問題意識が高まるので、課題に気づきやすいですね。
また、大学時代からゲームもよくしていました。ゲームはヒューマン・インタフェースの塊なので、どうしたら人が楽しめるか、そのためにはどういう工夫がされているかということを、ゲームを通して学ぶことができます。私の研究室の卒業生には、ゲーム会社に就職している者も多いですよ。研究を通じて課題発見・解決能力がつくので、家電をはじめとするメーカー、コンサルタント業にも就職していきます。
高校卒業後は電気通信大学(電通大)に進学しました。電通大では、学生のベンチャーマインドを育成するために、アイデアを競うコンテストが開催されます。私は学部2年生のときに、趣味で作っていた二足歩行ロボットを使ったアイデアを提案書にまとめてコンテストに応募したところ、最優秀賞を獲得することができました。そのアイデアというのは、人間がロボットを操作し、ロボットが得た情報を人間にフィードバックする内容で、操縦者がそれを擬似的に体験しているように感じられるというものでした。例えば、ロボットを宇宙に行かせて自分は地球上でロボットを操作すると、あたかも自分がロボットに乗り移って宇宙にいるかのように感じられるという構想です。
このときロボット関連のWebメディアから取材を受けました。その記事を読んだ稲見昌彦先生(当時・電通大教授、現・東京大学大学院教授)から突然メールが来て、「君が書いた提案は、テレイグジスタンスの概念そのものだ。20年ほど前に私の先生の舘(たち) 暲(すすむ)教授が世界で初めて提唱した概念だ。この分野に興味があるのなら、私の研究室に来てみませんか?」という内容が書かれていました。『テレイグジスタンス』というのは、遠隔にあるものをまるで近くにあるかのように感じながらリアルタイムに操作する技術のことです。声を掛けていただいたことで、私は学部2年生から稲見先生の研究室に入れていただき、二足歩行ロボットを直感的に操作するヒューマン・インタフェースの研究を始めました。
当時は漠然と「ロボットの研究がしたい」と考えていたのですが、稲見先生の話をうかがうことで、自分が本当にやりたいことはヒューマン・インタフェースなのだと気づくことができました。稲見先生との出会いがなければ、ロボットの研究者になっていたかもしれません。
ちなみに、通常、研究室への配属は4年生からですが、電通大にはそれより早い段階から研究活動ができ、単位が認定される制度があります。そして慶應義塾大学の理工学部にも、学部1、2年から研究室体験ができるJREP(Junior Research Experience Program:ジュニア研究プログラム)というプログラムがあります。私の研究室でも、今、JREPを通して学部2年生を受け入れています。私自身、学部2年から研究室に入ったことで、視野が広がりましたし、自信もついたので、こうしたちょっと背伸びをする機会を設けることはとても良いことだと思います。みなさんに積極的にチャレンジしてもらいたいと思っています。
KMDは2008年に、専門分野を超えてグローバルに活躍できるリーダーやイノベーターを育成することを目的に設立されました。稲見先生がKMDの創設メンバーとして着任されるというので、私も1期生として入学したいと思い、電通大を3年で退学して、KMDを受験し飛び級で入学しました。1期生であれば一から自分たちで大学院の環境づくりができるので、どうしても1期生として入学したかったのです。実際、入学してから、自分たちで工作室を作ったり、部屋のマネジメントをしたりという、貴重な体験ができました。とくに前評判がないので、入学してくる学生も多様で、各人が変わったことをやっていても批判されることはなく、受け入れてもらえる良い環境でしたね。
KMDで修士・博士課程を過ごしました。修士課程では、洗濯物のたたみ方を教えるとその通りに洗濯物をたたんでくれるロボットや、自分好みのレシピを教えるとそのように料理をしてくれるロボットを作りました。博士課程では、対象物を柔らかいものに変えて、クッションをコントローラーとして使えるシステムなどを開発しました。これまで開発してきた成果物は、研究室見学などの際にデモ体験をしていただけるように展示しています。
2018年4月に私が主宰する研究室をつくりました。その際、研究室をどのような機能を持った空間にしていくかを深く考えながら、机の配置や実験スペースなどを決めました。人間の動きは“場”によって決まってくるので、同時にコミュニケーションのしやすさを重視して設計しました。研究に関するディスカッションや雑談などはリビングスペースでできるようにしたり、研究や勉強に集中したいときは机のあるスペースに移動できるようにしたりするなど、メリハリをつけるように工夫してあります。 また、細かい仕掛けも取り入れています。例えば、コーヒーメーカーでコーヒーをいれるとき、1人で飲む場合は実費を負担してもらい、2人以上で飲む場合は無料にしています。こうすることで、コーヒーを飲むときには誰かを誘うようになり、そこでコミュニケーションが生まれるわけです。無料の分のコーヒー代は私が負担することになりますが、それには代えられない価値があると思っています。
まず、教員の数に対して学生の数が少ないのが良い点だと思います。指導する上で学生1人1人に目が届きやすくなり、手厚く指導できる環境になっています。
また、留学生が多い点も良いと思います。英語で行われている授業がたくさんあるので、留学生を受け入れやすいですし、日本人の学生にとっても留学生との交流を通じて、文化の違いを知ることにより、自分の価値観を広げることにもなります。
こうした環境で学生生活を送れることは、将来の大きな財産になると思います。
どうもありがとうございました。
◎ちょっと一言◎
学生さんから
● 私はコンピュータからの出力(アウトプット)に関する研究をしています。この研究室を選んだのは、研究内容が自分の興味のあることだったからです。加えて、杉浦先生が経験豊富な若い研究者だというのも大きな魅力です。新しいものを作るなら、若い研究者のもとで研究してみたいと思っていました。また、研究室は上下関係があまりなく、学生同士がフラットな関係で切磋琢磨できます。杉浦先生とも思う存分ディスカッションができる環境も気に入っています。オーストラリアのシドニー大学に1人で行き、1か月共同研究をする機会をいただきました。研究の面白さに目覚めて博士課程への進学を決め、あと3年思い切り研究する予定です(修士2年)。
(取材・構成 秦 千里)