プロジェクトPROJECT
ホーム  >  プロジェクト  >  プロジェクト詳細

ライトフィールドビジョン

概要

我々は,ライトフィールドカメラを画像認識技術に用いる新しい研究アプローチ「ライトフィールドビジョン」を提案します.ライトフィールドは,視点(u,v)を含む多視点画像の集まりとして一般にI(x,y,u,v)の4次元関数として表されます.従来のコンピュータビジョンに代表される画像認識技術では,この部分集合であるI(x,y)の二次元画像を中心として体系化されてきました.本研究では,画像認識の手法をこの4次元ライトフィールド全体で考えることで,従来困難であった画像認識の問題を解決する.具体的には,ライトフィールドカメラを用いることで,透明物体の識別や動的背景下における移動物体認識の問題を解決した.

詳細

本研究では従来の画像認識の限界を本質的に打破する「ライトフィールドビジョン」を提案し,その有効性を実験的に示すことを目指しています. 一般に,「画像」は現実の3次元世界の光学的情報(形状や明るさ・色)をある特定の視点から切り取ったもので,元の3次元世界の情報の極めて限られた部分空間となっています. そのため,画像から元の3次元世界の物体や状況を認識するのは本質的に困難な問題です. しかし,もしあらゆる視点からの画像を収集することができれば,その画像集合の中には本来の3次元世界の情報が全て含まれているため,そこから必要な3次元世界の情報を切り出すことが原理的に可能になります.

本研究では,あらゆる視点からの画像集合と等価な情報表現をライトフィールド(LF)と呼び,LFから現実の世界の情報を認識する枠組みを「ライトフィールドビジョン」と呼びます. 特に,従来の画像認識ではほとんど不可能であった透明物体・鏡面物体の認識がライトフィールドビジョンを用いることで自然な形で実現できることを示し,ライトフィールドビジョンが従来の画像認識の限界を本質的に打破することができることを示そうとしています.
具体的にLFはI(x,y,u,v)の4次元関数(ここでは直感的理解のためx,yは画像座標,u,vはカメラ視点と考える)で表され,多数のカメラで観測したのと同様に3次元空間内でのシーンの見え方を全てモデル化できます. 従来のカメラ画像では,このカメラ視点u,vを固定したLFの部分空間I(x,y,0,0)を観測していたこと考えることができます. ステレオビジョンやStructure from Motion(カメラの移動による物体形状の推定)なども例外ではなく,LF中のu,v空間において単一視点から2視点や線上に拡張したに過ぎず,LFの部分空間であることに変わりがありませんでした. これに対してライトフィールドビジョンは,u,v面で表されるすべての視点を用いることで,あらゆるビジョンの問題(画像認識,3次元復元,動物体追跡など)をより安定に求めることができ,コンピュータビジョンが扱う応用分野の実用性の向上を期待できます.
本研究で目的とする物体認識のほかでも,例えばステレオカメラによる3次元復元では,通常,横方向の視差しか得られないため,横方向のエッジに対して奥行きが求まりませんでした. それに対してLFが持つ多方向の視差を用いることで,テクスチャの方位性に寄らない奥行き推定が実現できると考えられます. 動物体追跡においても,LFに含まれる奥行き情報を用いることで,従来の画像に平行なX,Y方向の追跡だけでなく,奥行き方向も含めた物体の3次元(X,Y,Z)運動の追跡に拡張することができます. これらの例のように,提案するライトフィールドビジョンは,様々な新しい画像認識アプローチを創出できる可能性を持っています.

研究助成

九州大学教育研究プログラム・研究拠点形成プロジェクト 萌芽的研究者支援
「ライトフィールドビジョンによる透明・鏡面反射物体の認識」
科学研究費補助金 基盤研究(A)
「ライトフィールドビジョン -画像理解のためのコンピュテーショナルフォトグラフィ-」(研究課題番号:25240027)

発表文献

論文誌 (査読有)

  1. Yichao Xu, Kazuki Maeno, Hajime Nagahara, Rin-ichiro Taniguchi
    Camera Array Calibration for Light Field Acquisition
    Frontiers of Computer Science, Vol.9, No.5, pp.691-702, 2015.10
    (Keyword: lightfield)
    DOI: 10.1007/s11704-015-4237-4
    BibTeX, Springer
  2. Yichao Xu, Kazuki Maeno, Hajime Nagahara, Atsushi Shimada, Rin-ichiro Taniguchi
    Light Field Distortion Feature for Transparent Object Classification
    Computer Vision and Image Understanding (CVIU), Vol.139, pp.122-135, 2015.09
    (Keyword: lightfield)
    DOI: 10.1016/j.cviu.2015.02.009
    BibTeX, ScienceDirect
  3. 長原一
    ライトフィールドビジョンと符号化撮像
    映像情報メディア学会誌, Vol.67, No.8, pp.647-649, 2013.08
    (Keyword: lightfield)
    BibTeX
  4. Atsushi Shimada, Hajime Nagahara, Rin-ichiro Taniguchi
    Object Detection based on Spatio-Temporal Light Field Sensing
    IPSJ Transactions on Computer Vision and Applications, Vol.5, pp.129-133, 2013.08
    (Keyword: lightfield)
    BibTeX

国際会議 (査読有)

  1. Yichao Xu, Hajime Nagahara, Atsushi Shimada, Rin-ichiro Taniguchi
    TransCut: Transparent Object Segmentation from a Light-Field Image
    International Conference on Computer Vision (ICCV), 2015.12
    (Keyword: lightfield)
    BibTeX, arXiv pre-print
  2. Hajime Nagahara
    Light field Vision - Light field imaging and its applications for scene understanding-
    JSAP-OSA Joint Symposia 2015, 2015.09
    (Keyword: lightfield)
    BibTeX
  3. Hajime Nagahara
    Light Field Vision -Introduction to light field and beyond the next -
    The 20th Korea-Japan Joint Workshop on Frontiers of Computer Vision(Invited), 2014.02
    (Keyword: lightfield)
    BibTeX
  4. Kazuki Maeno, Hajime Nagahara, Atsushi Shimada, Rin-ichiro Taniguchi
    Light Field Distortion Feature for Transparent Object Recognition
    IEEE Conference on Computer Vision and Pattern Recognition, pp.2786-2793, 2013.06
    (Keyword: lightfield)
    BibTeX

国内学会 (査読無し)

  1. 前野一樹, 長原一, 島田敬士, 谷口倫一郎
    Light Field Distortion特徴を用いた透明物体認識
    第15回画像の認識・理解シンポジウム(MIRU2012), MIRU2012 CD-ROM予稿集, 2012.08
    (Keyword: lightfield)
    BibTeX