慶應理工の画像センシング 画像認識技術が切り拓く新しい世界

画像から有用な情報を得て社会に役立てたい

現在、デジタルカメラや防犯カメラなどの普及により、私たちの身の回りには画像や映像情報があふれている。ある意味、画像や映像は人や社会を知るうえでの重要なセンサの役割を果たしているとも言える。最先端の画像センシング技術を活用し、社会に役立つシステムの開発を目指す青木義満准教授に、研究室で取り組んでいるさまざまな先進技術について話を聞いた。

現在、電子工学科（現：電気情報工学科）の青木さんが手掛けているのは、デジタルカメラの画像やビデオカメラの映像をセンシングに活用しようという試みだ。画像や映像の中から意味のある情報を自動的に抽出し、社会に役立てたいという。
たとえば、人の顔の特徴を抽出し、自動でピントを合わせたり、自分の子どもの顔だけを認識してピントを合わせるといった機能は、すでにデジカメやビデオカメラで実用化されている。青木さんはさらに踏み込んで、画像からその人が何をしているのかという行動・状態の理解や、シーン全体の意味内容までもコンピュータに理解させようとしている。
「人だけでなく、モノの色や形、空間や環境の認識なども対象としています。つまり、画像から人・モノ・空間の 3つを認識することにより、シーン全体の理解をしようとしているのです。複数の情報を組み合わせることで、人が手を伸ばすという行為に対して、握手をしようとしているのか、モノをつかもうとしているのかの違いを識別し、そこで起こっていることのコンテクスト（文脈）を理解することができると考えています」と青木さんは語る。
いまや誰もがスマートフォンやタブレット端末を持ち歩き、気軽に写真や動画を撮影し、インターネットにアップする時代になった。また、街中には、至るところにカメラが設置されていて、人の目の代わりとして活用されている。こうして得られる映像をセンシングすることにより、複雑な事象を理解し、予測し、人間の感覚や感性、思考に似た知能化システムを実現したい、というのが青木さんの研究の動機だ。
しかしなぜ、画像なのだろうか─。「画像を活用するメリットは、広い範囲で複数の人を同時に計測できることにあります。また、通常のセンサのように身につける必要がなく、人の行動に制約を与えないことも大きな利点でしょう。
一方で、画像の活用はプライバシーの問題をはらんでいます。また、死角などで対象が映っていなければ使えません。さらに、動画は情報量が多いためリアルタイムに処理するのが難しい。ただ、これだけ社会に画像情報があふれるようになった現在、これらをうまく活用できないかという実社会からの要請がとても大きくなっているのも事実です」。

なかでも青木さんが注力しているのが、映像の中の特定の個人を検出して追跡する、という技術だ。
「この技術を防犯カメラに応用すると、怪しい人を見つけ出したり、道に迷っている人を検出することができます。また、コンビニなどで、顧客がどんな商品に興味を持ったのかを認識でき、マーケティングにも応用可能です」。
また、サッカーやアメリカンフットボールの試合で、同じユニフォームを着た選手の中から、背番号の情報を頼りに1 人の選手の動きや位置、ボールの動きを検出するという、難易度の高い取り組みも行っている。こうした技術は、戦術理解やプレーの予測などに応用でき、実際にプロスポーツチームや TV 局、ゲームソフトメーカーからの引き合いも来ているという。
「ここでは、人の姿勢をモデル化して、たとえば頭から肩にかけての位置がどう変わるのかといった情報を事前にコンピュータに学習させるという方法を採用しています。その際に『主成分分析』という手法を使って、情報量を大幅に圧縮しているところがミソです」。
主成分分析とは、多次元のデータの情報量をできるだけ落とさずに、その特徴を少数の指標で表わす数学的な手法のこと。この手法を使うことで、少ない情報量から人の形の特徴を表現できるようになる。さらに、上半身から下半身に至る身体の連結モデルを構築することにより、リアルタイムかつロバスト（頑健）に人の動きや姿勢を追跡できるようになるという。
「この技術により、どの商品の前で前かがみになって手を伸ばそうとしたのかなど、姿勢の細かい情報を収集できるようになりました。さらに、これらの知見を応用することにより、人の正面と側面のわずか 2 枚の画像から、3 次元の体形を瞬時に復元するという画期的な技術の開発にも成功しました」。
このように、あくまでも少ない情報量で複雑な動きや形状を高速に処理し、実際のシステムに導入可能とするところが、青木さんの研究の優位性と言える。

少ない情報量でリアルタイムに処理するという取り組みの先にあるのは、研究成果の実用化だ。青木さんは出口として、スポーツやエンターテインメント、アパレル、さらには医療、福祉などの分野での応用を視野に入れている。
医療への応用例として、赤ちゃんの呼吸不全の検知や、高齢者の嚥下能力（ものを飲み込む能力）の計測システムがある。前者は赤ちゃんの胸の上下のわずかな動きを、後者は高齢者の喉仏の動きを画像から計測するというもので、いずれも侵襲性がないことが利点だ。
さらにこうした物理的な計測だけでなく、人の感性を測る感性情報処理を手掛けている点も青木研究室の特色だろう。EC（electronic　commerce ＝電子商取引）サイトにおいて、ユーザがクリックしたファッション・コーディネート画像群から、その人の服装の好みを推定し、個人の感性や嗜好に合った商品を推薦するのだという。
「私の研究室では 6 〜 7 割が企業との共同研究です。それだけ、画像センシングへの期待が高まってきているということでしょう」と青木さん。身近な技術であるだけに、その実用化に大いに期待が高まる。

ええ、両親で店をやっていて、学校帰りには店に立ち寄ることがほとんどだったので、電化製品に囲まれて育った感じです。父はいわゆる「電気バカ」というのか、家でも電化製品のことばかり話すような人だったため、私も自然と電化製品に興味を持つようになりました。しかも父は新しいモノ好きで、当時、何百万円もするような出始めのプラズマテレビを店に置くような人でした。地元密着の電器屋とは言うものの、かなり時代の先端を行く店だったのではないでしょうか。
なかでも進んでいたのが、いち早くパソコンを扱い、2階のワンフロアをパソコンスペースとして開放し、各社のパソコンを並べて、ソフトも自由に使えるようにしていたこと。学校帰りに近所の小学生と一緒になって、『べーシックマガジン』を見ては、ゲームのプログラミングを打ち込んで遊んでいましたね。その頃から、自分は将来、理系に進むんだろうなぁと漠然と感じていました。
一方で、スポーツも大好きで、小学生時代はサッカーと水泳を、中学に入ってからは、悪い先輩にだまされて（笑）、バレーボール部に入部し、最終的には部長までやりました。いや本当に、入ってみたら不良ばかりでビックリしたんですよ。これがきっかけで、悪い奴らとの付き合い方を身につけた感じでしょうか（笑）。

ラグビーでの大けがもあって、理論物理系の科目を理解するのが難しいと感じていた大学3年生のときに、後に指導教員となる橋本周司先生の「計測原論」という講義を受けて、計測の奥深さを感じ、興味が一気に理学から工学へと移っていったのです。橋本研究室では顔画像処理やヒューマノイドロボットの研究などを行っており、応用物理学科のなかでは異色の研究室だったことも魅力でした。一方で、橋本先生の研究室はたいへん人気が高かったため、もし院試（大学院の入試）に落ちたら就職してもいいかなというくらいの軽い気持ちでもいました。ラグビー部の先輩たちの中には商社に就職した人も多かったですし、人と話したりお酒を飲んだりするのも好きで、体力には自信があったので、商社の営業マンになるのも悪くないかな、と思っていたのです。
結局、無事に院試に通り、大学院では顔画像認識・合成に関する研究に取り組みました。たとえば、受け口の歯科矯正の手術前と後の顔の見え方の変化や歯の噛み合わせを画像でシミュレーションして示すといった研究です。
この成果を日本顔学会で発表したところ、九州大学の歯学部の教授に興味をもっていただき、共同研究が始まりました。九大との共同研究は、ドクター論文、さらには芝浦工大に行ってからも続きました。早くからこうした共同研究や画像グループの学生の指導ができたことは、いい経験になりました。
その後、早稲田大学で博士を取得して助手まで務め、2002年に結婚とほぼ同時に芝浦工大情報工学科に専任講師として赴任しました。芝浦工大では、初年度から10名の学生を指導し、在籍した2007年度までに約80名の学生を指導しました。当初は大学院に行かない学生がほとんどでしたが、学内外の研究室との合同研究発表会を企画したり、研究費獲得のために共同研究を仕掛けたり、研究の体制づくりに奔走した結果、７割くらいが大学院に進学する研究室に育て上げることができました。ちなみに、合同研究発表会は現在も継続しています。

慶應と早稲田は同じ私学として切磋琢磨してきたせいか、共通点が多いですね。あえて違いを言うと、早稲田に比べると慶應のほうが、良くも悪くもきちんとしている印象があります。後輩を大事にするところはとてもいいですね。また制度も整っていて、そうした制度を活用してうちのドクターの学生5名中3名が海外留学を経験しています。