楽しいことを見つけて研究にも遊びにも全力投球で挑む

信号処理技術をベースに画期的なシステムの開発に取り組む満倉さん。
ショートスリーパーで、研究も遊びも決して手を抜かない満倉さんのエネルギーの源は、
楽しいことを見つけて、とことん追求するという前向きな姿勢にあるようだ。

Profile

満倉 靖恵 / Yasue Mitsukura

システムデザイン工学科

生体信号処理、脳波解析、画像処理、画像意味解析、印象解析などをキーワードに、マルチメディア信号処理や生体信号解析に関する研究を行っている。1999 年、徳島大学工学部知能情報工学科助手、2002 年、岡山大学情報教育コース専任講師、05 年、東京農工大学大学院助教授、07 年、同大学院准教授となり、11 年より慶應義塾大学理工学部准教授。

研究紹介

今回登場するのは、信号処理技術を駆使して

革新的なシステムの開発を進める満倉靖恵准教授です。

社会のあらゆるところで利用される信号処理

生体ユビキタス信号解析が切り拓く未来

脳波を計測・解析して、リアルタイムに快・不快やストレス、眠気などの状態を測定するブレイン‐コンピュータ・インタフェースや、小型の web カメラで顔の動きや表情を検出し、瞬時に画面上のアバターに投影できるアバターシステム。高度な信号処理技術を基盤に、こうした画期的なシステムを開発する満倉准教授に話を聞いた。

脳波の周波数の組み合わせから心身の状態を瞬時に測定する

「この装置を額に装着するだけで、快・不快、好き嫌い、ストレス、眠気、集中度、興味度などを測ることができます。おそらく現状ではもっとも簡易で、装着しやすい装置でしょう。性能も他の装置に引けを取りません」と言って満倉さんが見せてくれたのは、ヘアバンド型の脳波測定器だ。測定器からスマートフォンに情報を送ることにより、画面上に計測結果が瞬時に表示される仕組みになっている。
例えば、ストレスを感じていれば、画面上の白い顔のアイコンが青色に変化し、ストレス度がパーセンテージで示される。同様に、集中度や眠気を表示できるアプリケーションを立ち上げれば、時々刻々と移り変わる被験者の状態が手に取るようにわかる。
画面には、取得している生のデータも同時に表示されている。折れ線グラフで示された複数の波形が表わすのは、脳波を一般的に示す言葉として用いられる、周波数の帯域である α 波や β 波、θ波など。脳波の周波数の組み合わせを解析することで、被験者の状態が測定できるという。
「額につけたセンサで左前頭葉の FP1と呼ばれる感情や感性を司る場所の状態を測定します。計測されるのはマイクロボルトというごく小さな電圧ですが、これを周波数に変換することにより脳波の種類がわかる。脳波の周波数は 1~ 30Hz(ヘルツ)程度に限られていて、このわずかな情報の組み合わせから、心身のさまざまな状態がわかるのです」。
例えば、触覚について、○ Hz と ×Hz の組み合わせが大きければ「好き」、△ Hz と◇ Hz の組み合わせが大きければ「嫌い」と判定できるといった具合だ。こうしたルールを発見し、最適化手法により瞬時に状態を導き出せるのがこのシステムの最大の特長である。
現在、脳を測定する装置には、脳波計(EEG)のほか、f-MRI(機能的磁気共鳴画像法)や NIRS(近赤外分光法)などの装置があるが、それぞれに観測する対象が違う。f-MRI なら脳の血流量を、NIRS なら血中酸素濃度を測定して脳の状態を調べるが、何か心的変化が起こったときに即応性が高いのが脳波であり、リアルタイムの計測に向いているという。
また、従来の脳波計測装置では、頭皮に複数の電極を密着する必要があるため、時間がかかり、装着自体がストレスになって正しい計測ができなかった。この装置なら簡便に取りつけられ、人が感じていることを正確に測ることができる。すでに、音や味、製品への興味度などに関するマーケティングに、この装置が活用され始めている。

図 1 脳波による眠気の検出
脳波を簡易に取得し、瞬時に解析し、オンラインで眠気を検出する。

波形の定式化によって、厳密な計測結果を得る

しかし、こんな簡易な装置で、本当に正しい計測結果が得られるのだろうか。じつは、他の装置と変わらない精密な計測を可能にしているのが、満倉准教授の専門である信号処理の技術なのである。「現在、ゲームなどで採用されている簡易型脳波計のほとんどが、まぶたを動かしたときなどに発生する筋電を取得するもので、脳波計とは言い難い。脳波には多くのノイズが混入し、そのほとんどが筋電ノイズです。純粋な脳波だけを取り出すことは非常に難しく、現在出回っている簡易な装置では筋電がほとんど除去されていない状態です。ノイズを除去しないと使えないため、私たちは信号処理により、瞬時にノイズを除去して、厳密な処理を可能にしているのです」。
そもそも満倉さんはプラントや装置などの挙動を定式化する研究に長年携わってきた。波形を見て定式化するなかで培われた経験が、今回のシステムの開発に大いに生かされることになったという。
「このシステムをつくるきっかけになったのは、ある ALS(筋委縮性側索硬化症)の患者さんとの出会いでした。ALS が進行すると、患者さんはやがて眼球の動きだけでしか外界とコミュニケーションがとれなくなってしまいます。私たちの脳波計測システムを使って患者さんが Yes / No を示すことができたとき、ご家族がたいへん喜ばれたのを見て、研究を加速させなければと思いました。今後は、さらに簡便な装置にして、思ったことをそのまま文字にするシステムの開発を目指しています」。

図 2 身の回りの信号処理
生体信号、画像、音声すべて、あるスケールにおける信号の集合となっている。これらの信号から特徴をとらえ、パターンを分類し、意味付けをしていく。一般に生体だとマイクロボルトからミリボルトの電圧値、画像だと 0-255の RGB 値、音声だと 20Hz-20kHz あたりのスケールの信号を扱っている。これらを信号解析する研究は、身の回りのさまざまな製品と深く関わっている。

人の顔の動きに瞬時に追従するアバターシステム

もうひとつ、信号処理技術を用いたシステムに、満倉さんの研究室で開発したアバターシステムがある。これは、PC に取り付けた web カメラで人の顔の動きを認識し、PC 画面上のアバターが、その人の顔の動きにリアルタイムに追従するものだ。
「顔の動きや表情を 0.1 秒以内で追跡しようと始めた研究ですが、瞬時に反応させるために、追跡点を目の両端や口の両端など数点程度に絞って計算速度を速めた点がポイントです」という。
このアバターシステムに初音ミクを登 用 し、 動 画 サ イ ト の YouTube 上 にアップしたところ 300 万件を超えるアクセスがあり、現在、アニメやイベント、CM 制作会社など、さまざまな企業からの引き合いが来ているそうだ。
「そのほかにも、口笛で PC 画面をスクロールする技術や筋電を利用して車椅子を動かす技術など、さまざまなシステムを手掛けています」。
いずれも、そのベースには信号処理技術がある。今後も信号処理技術を武器に、社会に貢献できるシステムを開発していきたいと、満倉さんは力強く語った。

図 3 オンラインアバターシステムで
あなたも瞬時に人気キャラクターに身近で安価なカメラ(図はプレステ用カメラ)と PC さえあれば、顔の動きと表情を瞬時に解析し、アバターで表現できる。

(取材・構成 田井中 麻都佳)

インタビュー

満倉靖恵准教授に聞く

国際学会での受領を機に研究者を目指す

ご出身は奈良県ですが、その後、松江に移られて、理系の高校に進学されたんですね?

はい。これまで転々として来ましたが、ようやく安住の地を見つけました。理系に進んだのは、父が理系で、母が医療系という家庭に育った影響でしょうか。家の本棚には絵本などはなく、数学や物理の本、医学書などが並んでいました。休日にそれらの本をずっと読んでいる勉強熱心な父の姿が心に焼き付いています。今でも記憶に残っているのは、ガラスでできたものを落として割ったとき。父が「なぜ割れるか」を、子どもの私相手に延々と語り、その話が面白かったので、興味から他のいろいろな物も壊して、母に叱られていました。その流れで高校も理系を選択し、大学では電気電子系を専攻しました。
その後、さまざまな所に移動してきました。修士までは岡山県立大学で、博士を取ったのが徳島大学です。そして、東京大学大学院医学系研究科で学び、岡山大学、東京農工大学などを経て、2011年に慶應大学に移りました。

研究者になろうと思ったのはいつ頃ですか?

大学4年生のときに、通信関連の国際学会に参加する機会があり、そこでベストペーパー賞とベストプレゼンテーション賞をダブル受賞したときです。
このときの研究で、今考えれば大した問題ではないのですが、当時はたいへん大きな壁を感じていて、何日も徹夜をすることに。でも、受賞して苦しかったことがすべて吹っ飛び、大きな喜びに変わったことが心に残っています。そして、何か問題にぶつかったときに、それを解決するために必要な努力と根性は、ここで教えられました。
その後、研究者としての転機となったのが、徳島大学時代の赤松則男先生との出会いです。外からうるさく聞こえてくる工事現場の騒音に対して、「この音と逆位相の音を作ってみたら騒音が消えますよね」と先生にお話したところ、当たり前のことなのですが、自分の研究を常に生活で意識していることを褒めてくださいました。そういった姿勢は研究者として成長できる、と太鼓判を押していただき、今に至っています。音や画像を周波数に変換し、定式化するということをやり続けるなかで、まわりの種々の現象と周波数が結びつくようになり、音を聴いたり、画像を見るだけで、自然と、そこにどんな周波数成分が含まれているのか見当がつくようになったのです。あるいは水面の波紋を見ただけで、どんな波が含まれているのか、それはどんな式で表わすことができるのかも、ピンとくるようになりました。もうほとんど職業病というか、今や、身の回りの現象はなんでも周波数や式で見えるようになってしまいました。
ちなみに、うちの学生でも、研究を続けてしばらくすると、「あの人の髪の毛の巻き具合は、こんな式で表わせるよね?」なんて、冗談を言い合ったりしています。数学的なセンスというのは訓練により磨かれる部分が大きいのでしょうね。
話が横道にそれてしまいましたが、赤松先生にアドバイスをいただいたことで、以来、脳波の研究に携わるようになりました。当時はもう、夢中で周波数のことばかり考えていましたね。博士課程では顔の画像の周波数解析の研究を行いましたが、これは、画像を定式化することで、個人を識別するというものです。個人の顔がそれぞれ個別の式で区別できるなんて面白いでしょう? 結局、1年半でドクター(博士号)を取得しました。
ちなみに、赤松先生の関わった学生には、先輩として青色発光ダイオードの研究者として有名な中村修二さんがいらっしゃいます。そうした進取の気鋭に富んだ研究者たちに囲まれていたこともたいへん幸運だったと思います。私は本当に、先生にも周りの研究者にも友人にも恵まれているとつくづく思います。

楽しいことを見つけて全力でチャレンジする

どんな研究生活だったのですか?

朝8時には研究室へ出て、夜中2時くらいまで研究に没頭するという毎日でした。もともとショートスリーパーで、5時間も寝たら完全に復活するので辛いと思ったことはありません。しかも、赤松先生と一緒に、夕方1時間ほどジョギングをするのが日課でした。おかげで、今もマラソンを続けています。毎年、湘南国際マラソンなど、大きな大会にも出ているんですよ。

パワフルですね。そのエネルギーの源はどこにあるのですか?

そもそも何かを決めるとき、私はすべて「好きか嫌いか」で判断しており、好きなことだけをやっているから、ストレスがたまらないんだと思います。面白そうだと思ったら、全力でチャレンジする性質で、岡山大学時代には音声圧縮のベンチャーのCTO(最高技術責任者)を務めていたこともあります。その本社が東京にあって、しょっちゅう東京には来ていましたし、東京には研究者以外の友人も多かったので、岡山から上京する際も、まったく不安はありませんでした。
それから、じつは私は一卵性双生児で、弘恵という名の姉がいたのです。その姉を亡くしたことが、私の人生を大きく変えました。以来、姉の分まで、楽しい思いも辛い思いも苦しい思いも、2人分以上生きようと心に決めているのです。
だから、研究も精一杯やるけれど、遊ぶときも徹底して遊ぶ。よほど仕事が詰まっていたり出張が入っていたりしない限りは、日曜日は自由の日と決めて、目一杯遊ぶことにしています。土曜の夜23時から日曜の23時59分まで、寝る間も惜しんで遊ぶこともあります。豪快に飲み歩いてお金を使ってしまったり、派手に買い物をしたり、友人たちとキャンプや海水浴、スノーボードを楽しんだり、山に登ったり――。
今月も1カ月先まで、休みの日のスケジュールは一杯です(笑)。でも、どんなに遊んでも、疲れは翌日まで引きずらないのが鉄則です。
あとは、美味しい料理をたくさん食べること。もっぱら食べる役専門ですが(笑)。よく食べ、よく学び、よく遊び、よく感動し、よく笑い、たまに泣く……。そんな毎日です。

すばらしい環境の慶應義塾で安住の地を見つける

でも、それだけ全力投球していたら、くたびれてしまいそうですが……。

走っているのがいいんでしょうね。体力だけは自信があります。日曜日にはできる限り走るようにしていますし、海外出張に行くときも、ランニングシューズを持って行って、走ることで訪れた街を肌で感じるようにしています。走ると、移動の疲れも吹き飛んでしまいます。学生たちにも走ろうといって声を掛けますし、私と同じように、よく学んで、よく遊びなさいとアドバイスしています。走ったり、仕事を離れて遊ばないと、新しい考えは浮かばないと思うからです。
もう1つのストレス発散法は人と会うこと。前の職場から数えると、満倉研究室を立ち上げてからすでに14年になり、多くの卒業生を送り出してきました。博士課程を出た卒業生の多くが研究者になっていて、たまに彼らと会うことがいい刺激になっています。学部の卒業生たちもメーカーやマスコミに就職していたりして、いろんな情報を交換できる。彼等の元気な顔を見ると、それこそ疲れや嫌なことなんて、一気に吹き飛んでしまいます。

慶應義塾大学での研究生活はいかがですか?

慶應はじつに自由で、個性豊かな研究者が多いし、私ものびのびと研究をさせていただいています。学生を大事に育てようという環境も素晴らしい。そんな慶應が好きです。これからも信号処理技術を基盤に、自由な発想で、社会に役立つさまざまな研究に精力的に取り組んでいきたいですね。

 

どうもありがとうございました。

 

 

◎ちょっと一言◎

学生さんから
●学生さんから:研究に対しては、本当にストイックな方ですが、一方で、僕らの突拍子もないアイデアでも面白がって、「やってみなさいよ」と自由にやらせてくれます。それでいてちゃんとフォローもしてくださる。僕らも先生を見習って、研究にも遊びにも全力投球しています。

(取材・構成 田井中 麻都佳

ナビゲーションの始まり