研究紹介
ホーム  >  研究紹介  >  研究詳細

コンピュテーショナルフォトグラフィ

ライトフィールドによる透明物体認識

透明物体は物体自体に視覚的特徴がほとんどなく,また背景を透過することから環境により大きく見かけが変わるため,これまで物体認識の対象として例外とされてきた.この研究では,ライトフィールドを用いた新たな透明物体記述のための特徴量であるLight Field Distortion(LFD)特徴を提案した.通常の特徴記述が,物体のエッジやテクスチャといった見かけの特徴を記述しているのに対して,提案するLFDでは同じ対応点から出射される光線の関係を光線空間の歪みとして表すことで透明物体の形状を記述する点があたらしい.また,背景などの環境の見かけの変化に頑健な特徴である.具体的には,透明物体が存在しなければ光線は直進するためLFDは光線空間中で線形であるのに対して,透明物体があると物体による屈折によりLFDが非線形な分布となる.
このLFDを用いて物体形状を記述し,Bag-of-featureによる統計的学習により物体識別を実現した.また,LFDとGraphcutを用いて透明物体領域分割を実現した.
Photo

論文誌

  • Yichao Xu, Kazuki Maeno, Hajime Nagahara, Atsushi Shimada, Rin-ichiro Taniguchi
    Light Field Distortion Feature for Transparent Object Classification
    Computer Vision and Image Understanding (CVIU), Vol.139, pp.122-135, 2015.09
    DOI: 10.1016/j.cviu.2015.02.009

    BibTeX, ScienceDirect

国際会議

  • Yichao Xu, Hajime Nagahara, Atsushi Shimada, Rin-ichiro Taniguchi
    TransCut: Transparent Object Segmentation from a Light-Field Image
    International Conference on Computer Vision (ICCV), 2015.12
    BibTeX, arXiv pre-print
  • Kazuki Maeno, Hajime Nagahara, Atsushi Shimada, Rin-ichiro Taniguchi
    Light Field Distortion Feature for Transparent Object Recognition
    IEEE Conference on Computer Vision and Pattern Recognition, pp.2786-2793, 2013.06
    BibTeX

能動絞りカメラ

カメラの絞りは光量を調整するだけでなく,カメラ撮像系のぼけ関数 (PSF) を制御できることが広く知られています.近年,特殊な絞り形状を用いてPSF を制御する符号化絞り(Coded Aperture Imaging) による,符号化撮像法が注目されています.従来の符号化絞りは,厚紙を切り抜いたものや印刷したフィルムをレンズに挿入することで実現されていたため,そのパターンを容易に変更することができませんでした.ぼけ復元やシーンの画像のボケを用いた奥行き推定(Depth from Defocus),ライトフィールド撮像などを応用として様々な絞りパターンがこれまで提案されていましたが,最適な絞りパターンはシーンや撮影条件に依存したり,複数のパターンの組み合わせを必要としました.本研究では我々は絞り形状を反射型液晶素子(LCoS)により能動的に設定することができる能動絞りカメラを開発しました.この能動絞りカメラにより,シーンや撮影条件に適応した絞り撮影やライトフィールド撮影を高速に実現することができました.このカメラを用いて様々な応用に対する最適化撮像を考えることで,さらなる新しい符号化撮像法を探求しています.
Photo

論文誌

  • 長原一
    ライトフィールドビジョンと符号化撮像
    映像情報メディア学会誌, Vol.67, No.8, pp.647-649, 2013.08
    BibTeX
  • Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, Shree K. Nayar
    Programmable Aperture Camera Using LCoS
    IPSJ Transactions on Computer Vision and Applications, Vol.4, pp.1-11, 2012.03
    BibTeX

国際会議

  • Toshiki Sonoda, Hajime Nagahara, Rin-ichiro Taniguchi
    Motion-Invariant Coding Using a Programmable Aperture Camera
    The 11th Asian Conference on Computer Vision (ACCV2012), 2012.11
    BibTeX
  • Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, Shree Nayar
    Programmable Aperture Camera Using LCoS
    Proc. European Conf. Computer Vision, No.LNCS6316, pp.337-350, 2010.09
    BibTeX

国内学会

  • 園田聡葵, 長原一, 谷口倫一郎
    能動絞りカメラによるモーションブラーの速度不変符号化
    第15回画像の認識・理解シンポジウム(MIRU2012), MIRU2012 CD-ROM予稿集, 2012.08
    BibTeX
  • 園田聡葵, 長原一, 渡邉拓也, Changyin Zhou, 石黒浩, Shree K. Nayar
    LCoS を用いた能動絞りカメラ
    画像の認識・理解シンポジウム, No.DS-9, pp.1713-1714, 2011.07
    BibTeX

フォーカススイープカメラ

フォーカスを制御することでカメラのぼけ関数(PSF)を制御することができる,フォーカススイープカメラを開発しました.フォーカススイープカメラは,露光時間中に撮像素子またはレンズを光軸に沿って動かすことで,多重焦点を重畳した画像が撮影できるフォーカススイープ撮像を世界で初めて提案しました.フォーカススイープ撮像は,符号化絞りとは異なり,絞りを開放したままPSFを制御できるため,高いSN比の画像撮像が実現できるという利点を持ちます.このスイープの軌道や撮像素子の露光タイミングを様々に組み合わせることで,被写界深度拡張やシーンの奥行き推定(Depth from Defocus),あおり撮像,不連続被写界深度撮像,曲面被写界深度撮像など様々な撮像手法とその応用を実現しました.また,従来の符号化撮像手法では,特殊レンズや絞りなどが必要でしたが,フォーカススイープ撮像はレンズの焦点変化によりぼけ関数を制御するため,民生用カメラにすでに搭載されているオートフォーカス機構などを利用することができ,実用性や実現性が高いと考えます.この研究は,コロンビア大学との共同研究です.詳しくは,こちらのページもご覧下さい.
Photo

論文誌

  • Sujit Kuthirummal, Hajime Nagahara, Changyin Zhou, Shree K. Nayar
    Flexible Depth of Field Photography
    IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.33, No.1, pp.58 - 71, 2011.01
    BibTeX

国際会議

  • Shuhei Matsui, Hajime Nagahara, Rin-ichiro Taniguchi
    Half-Sweep Imaging for Depth from Defocus
    Proc. 5th Pacific Rim Symposium on Advanced in Image and Video Technology, No.LNCS7087, pp.335-347, 2011.11
    BibTeX
  • Hajime Nagahara, Sujit Kuthirummal, Changyin Zhou, Shree K. Nayar
    Flexible Depth of Field Photography
    Proc. European Conf. Computer Vision, No.LNCS 5305, pp.60-73, 2008.10
    BibTeX

全方位カメラ

通常のカメラの視野角は,人や動物の視野と比較して著しく狭いため,ロボットビジョンやバーチャルリアリティなどの広視野角を必要とする応用には向きませんでした.
我々は,凸面の鏡とカメラを組み合わせることで周囲360度の全方位を実時間で撮影できる全方位カメラを数多く提案・試作してきました.例えば,凸面ミラーに双曲面鏡を使ったものは,通常のカメラと同様に単一視点を持つため全方位画像の歪みを画像処理で補正できたり,従来のコンピュータビジョンや画像処理のアルゴリズムがそのまま適用できるという利点があります.また,全方位画像の解像度分布が均一になるように解析的にミラーの凸面を設計する手法も提案されています.
さらに我々は,これまで両立しなかった単一視点と均一解像度を両立する新しい全方位カメラの設計法についても世界ではじめて提案しました.このように我々は様々な全方位カメラの設計手法と試作,および全方位画像処理について研究しています.
Photo

論文誌

  • Hajime Nagahara, Yasushi Yagi
    Lensless imaging for wide field of view
    Optical Engineering, Vol.54(2), No.25114, 2015.02
    BibTeX, SPIE Digital Library
  • 青竹貴之, 長原一, 岩井儀雄, 谷内田正彦
    単一視点と均一解像度特性を有する一般化全方位カメラモデル
    電子情報通信学会誌, Vol.J92-D, No.8, pp.1186-1196, 2009.08
    BibTeX
  • 吉田幸治, 長原一, 谷内田正彦
    単一視点と均一解像度特性を有する全方位視覚センサ
    電子情報通信学会論文誌, Vol.J90-D, No.8, pp.1912-1920, 2007.08
    BibTeX

国際会議

  • Hajime Naghara, Koji Yoshida, Masahiko Yachida
    An Omnidirectional Vision Sensor with Single View and Constant Resolution
    Proc. IEEE Int. Conf. Computer Vision, 2007.10
    BibTeX
  • Koji Yoshida, Hajime Nagahara, Masahiko Yachida
    An Omnidirectional Vision Sensor with Single Viewpoint and Constant Resolution
    Proc. IEEE/RSJ Int. Conf. Intelligent Robots and Systems, pp.4792-4797, 2006.10
    BibTeX

複合センサカメラ

近年のデジタルカメラの高品質化の要求と共に,カメラの解像度は劇的に進化してきています.例えば,デジタルスチルカメラにおいては,民生品でも一千万画素を超えるものも珍しくありません.しかしながら,デジタルビデオカメラの解像度は,デジタルスチルカメラの画素数には遠く及びません.これは撮像素子から出力されるデータ量が,1フレームの解像度×フレームレートで表されるため,レームレートを上げると必然的に解像度を落とさなくてはならないことに起因します.すなわち,解像度とフレームレートにはハードウェア的にトレードオフがあり,両方を向上させることは原理的に不可能であることを示しています.
本研究では,高解像度と高フレームレートを実現するために,解像度とフレームレートの異なる2種類の撮像素子を複合して搭載する複合センサカメラを提案しました.このカメラは,ビームスプリッタと高解像度だがフレームレートの遅い撮像素子と低解像度だがフレームレートの早い撮像素子を持ち,シーンをそれぞれ解像度優先(2128x1952pixels, 3.75fps)とフレームレート優先(532x488pixels, 90fps)の2種類の動画として分離撮影します.撮像後に画像処理によりこれら2つの動画像を合成することで,高解像度,かつ高フレームレート(2128x1952pixels, 90fps)の動画生成を実現しました.このカメラのアプローチは,低コストで高品質の動画撮影を実現できると共に,撮像後に圧縮を行う近年の動画データの扱いに対して,撮像時に圧縮撮像を実現しようとする新しい撮像コンセプトを提案しています.
Photo

論文誌

  • 長原一, 神吉良典, 岩井儀雄, 谷内田正彦
    高精細動画撮影のための複合センサカメラ
    電気学会論文誌C, Vol.130, No.9, pp.1561-1571, 2010.09
    BibTeX
  • 松延徹, 長原一, 岩井儀雄, 谷内田正彦, 鈴木俊哉
    モーフィングによる高解像度高フレームレート動画像の生成
    電子情報通信学会論文誌, Vol.J90-D, No.4, pp.1073-1084, 2007.04
    BibTeX
  • 渡邊清高, 岩井儀雄, 長原一, 谷内田正彦, 鈴木俊哉
    ウェーブレット領域での動き補償と画像統合による高解像度高フレームレート動画像の生成
    情報処理学会論文誌:コンピュータビジョンとイメージメディア, Vol.47, No.SIG 10(CVIM 15), pp.195-207, 2006.07
    BibTeX
  • Kiyotaka Watanabe, Yoshio Iwai, Hajime Nagahara, Masahiko Yachida, Toshiya Suzuki
    Video Synthesis with High Spatio-Temporal Resolution Using Motion Compensation and Spectral Fusion
    IEICE Transactions on Information and Systems, Vol.E89-D, No.7, pp.2186-2196, 2006.07
    BibTeX