視点を変えて物事を見る

「視点を変える」を検索してみると、その重要性が色々な事例により語られているのがわかります。名言集や格言集にもなっています。そのほとんどは、物事の考え方や捉え方を変えてみると、新しい発想や解決法が得られる、という、人生論のようなものです。

情報工学、特に私の専門とする、コンピュータビジョンでは、「視点」というのは、カメラが画像を撮影する時のカメラ位置、厳密に言うと、カメラに使われているレンズの中心位置を表します。図１に表すように、カメラは視点を通る全ての光線の色を2次元面上に投影した光のマップである画像として記録します。この考え方は「透視投影」と呼ばれ、既に紀元前の時代には知られており、14世紀には、実際にはカメラは存在しなかったものの、この透視投影の考え方を使うことにより、人間が実際に見ているものとそっくりな写実的な絵画を描く技術としても利用されるようになりました。

さて、あるカメラで撮影したものやシーンを別の視点から撮影したら何が見えるでしょうか？それは同じものやシーンなので、同じものしか見えないと思うかもしれませんが実際には。ある視点からは隠れて見えなかったものが、視点を変えることによりハッキリと見ることができます。つまり、名言集や格言集で言っているように、見たいものが見えない時は、視点を変えて観察せよ、ということです。私の研究室では、コンピュータビジョンの技術を使って、自由に視点を変えることのできる映像生成技術とその応用について研究しています。

その一例は、物体に隠されて見えないところを見るために、見えないところを隠している物体（遮蔽物）を擬似的に消し、そこに、本来は見えるはずの映像を提示することにより、あたかも遮蔽物が消えたような映像を生成して提示するDiminished Reality （隠消現実感）という技術です。図２の例では、野球の様子を見ていますが、投手の投げる様子やボールの軌跡を審判と捕手が隠してしまって見えません。そこで、審判や捕手を除去し、その部分に1塁側や3塁側から撮影した映像を視点変換することにより、隠れてしまって見えない投球動作を表示しています。また、図３に示した例では、ドリルを使った作業の際に、ドリルが作業対象を隠蔽してしまってみることができない状況において、別の視点から撮影しているカメラを利用して隠蔽された部分の様子を作業者に提示しています。

この技術は、同じ現象を異なる複数の視点から撮影してそれらを単純に観察者に提示するのではなく、観察者の見たいと思う視点に変換して提示することにより、観察者からは直接見えない情報も含めて同時に見せる映像提示手法となっています。

ここで重要になってくる要素技術が、視点変換技術です。先ほど説明したように、カメラは、レンズ中心位置である「視点」を通過した光線の色を記録しているわけですから、視点を変換するためには、「変換後の視点」を通過する全ての光線の色を知る必要があります。ここで利用されるのが、コンピュータビジョン分野で研究されてきた「3次元幾何理論」です。この理論を利用して、実際にカメラで撮影された各画素に相当する光線が発せられた3次元位置を推定し、そこから同じ色の光線が全方向に放射されているものとして、「変換後の視点」で撮影されるはずの画像を「透視投影」により合成します。

近年、スマートフォンの広がりにより、誰もが色々なところで画像を撮影するようになりました。多くの人々が集まる観光地やスポーツ会場などでは、同じ建物やイベントを多数の人が異なる視点から同時に撮影していることが少なくありません。また、複数の人間による共同作業を、その記録のために、作業者の頭部に小型カメラを取り付けて撮影することも行われています。このように、取得される沢山の視点の映像データを、見たいと思う視点を自由に設定しながら、その視点に変換して観察することによって、撮影した単純に映像を再生しただけでは得ることのできない多くの情報を得ることが可能になるのです。

最初に書いたように、人々は、「視点を変えた」考えにより問題解決を図ることがありますが、その時、しばしば、他人の意見を求めたりすることも多くあります。人それぞれ、違う視点で物事を観察して考えているからです。これと同じように、同じ現象に対して、視点が異なる沢山の映像を利用して、新しい見方としての映像を提示する技術は、今後もますますその活用範囲が広がっていくと思います。