[English]

光の遮蔽を考慮した人物全身画像の逆レンダリング

金森 由博, 遠藤 結城†‡

筑波大学, 豊橋技術科学大学

SIGGRAPH Asia 2018

特許出願中



YouTube:


技術概要:

再照明 (relighting) とは?

ある照明環境下で撮影された被写体が、別の照明環境下でどのような陰影になるかを再現する技術。陰影の計算には、被写体の形や色、光 (の色、強さ、方向) の情報が必要になる。CG を使った映画やゲームではこれらの 3 つの情報が予め用意されているので再照明は比較的容易だが、写真一枚で実現しようとすると、その写真から被写体の形、色、それを照らす光を推定する必要がある。この推定処理は、通常の描画処理 (レンダリング; rendering) とは逆の処理を行う (3 つの入力から絵を描くのとは逆に、絵から 3 つの入力を推定する) ということから、逆レンダリング (inverse rendering) と呼ばれる。

技術的貢献


論文要旨:

人物画像の再照明は画像合成において様々な応用がある。再照明を行うには、人物画像から、反射率、形状、照明を推定しなければならない。既存手法はこの推定を人物の顔の情報に基づいて、球面調和関数 (spherical harmonics; SH) による照明の定式化によって実現していた。しかし既存手法の多くは光の遮蔽を無視しているため、推定された形状は歪み、脇、股や服のシワなどの凹みが不自然に明るくなってしまう、という問題があった。本研究では初めての試みとして、光の遮蔽を SH として表現し、それを直接推定する。畳み込みニューラルネットワーク (convolutional neural network; CNN) による教師あり学習に基づき、反射率や照明だけでなく、画素ごとに光の遮蔽を 9 次元の SH の係数として符号化した、光伝達マップも推定する。この推定を実現する上での主な難しさは、人物画像の無限のバリエーションに比べ訓練データが不足している、という点である。驚くべきことに、光伝達マップで現されるような幾何情報というのは、注意深く用意された小規模な合成人物データセットを用いることで、CNN がデータの一貫性を活かし、それらしく推定することが可能だとわかった。光の遮蔽を無視した定式化よりも、提案手法の方がより写実的な再照明を実現できることを示す。

キーワード: 逆レンダリング, 光伝達, 畳み込みニューラルネットワーク


補足資料:

(Coming soon)


データ:

(Coming soon)


ソースコード:

(Coming soon)


報道:


謝辞:

本プロジェクトに多大なご支援をいただいた株式会社 ZOZO テクノロジーズ (旧名称: スタートトゥデイテクノロジーズ) に深く感謝いたします。また建設的なご意見をいただいた匿名の査読者、最終原稿の校正を担当してくれた Sina Kitz 氏にも感謝いたします。論文および動画の入力画像は、以下の方のご厚意によるものです: Kat Garcia, Kinga Cichewicz, George Gvasalia, Jacob Postuma


発表文献:

  1. 金森 由博, 遠藤 結城, "人物の単視点全身画像の再照明," Visual Computing 2018, 2018/6/21-23. (口頭発表) (優秀研究発表賞受賞)
  2. Yoshihiro Kanamori, Yuki Endo: "Relighting Humans: Occlusion-Aware Inverse Rendering for Full-Body Human Images," ACM Transactions on Graphics (Proc. of SIGGRAPH Asia 2018), 37, 6, Article No. 270, November 2018. [PDF (highres, 38MB)] [PDF (lowres, 3 MB)] [Movie (81 MB)]

Last modified: 26 Nov, 2018

[back]