†筑波大学, ‡豊橋技術科学大学
SIGGRAPH Asia 2018
特許出願中
[English]
†筑波大学, ‡豊橋技術科学大学
SIGGRAPH Asia 2018
特許出願中
ある照明環境下で撮影された被写体が、別の照明環境下でどのような陰影になるかを再現する技術。陰影の計算には、被写体の形や色、光 (の色、強さ、方向) の情報が必要になる。CG を使った映画やゲームではこれらの 3 つの情報が予め用意されているので再照明は比較的容易だが、写真一枚で実現しようとすると、その写真から被写体の形、色、それを照らす光を推定する必要がある。この推定処理は、通常の描画処理 (レンダリング; rendering) とは逆の処理を行う (3 つの入力から絵を描くのとは逆に、絵から 3 つの入力を推定する) ということから、逆レンダリング (inverse rendering) と呼ばれる。
人物画像の再照明は画像合成において様々な応用がある。再照明を行うには、人物画像から、反射率、形状、照明を推定しなければならない。既存手法はこの推定を人物の顔の情報に基づいて、球面調和関数 (spherical harmonics; SH) による照明の定式化によって実現していた。しかし既存手法の多くは光の遮蔽を無視しているため、推定された形状は歪み、脇、股や服のシワなどの凹みが不自然に明るくなってしまう、という問題があった。本研究では初めての試みとして、光の遮蔽を SH として表現し、それを直接推定する。畳み込みニューラルネットワーク (convolutional neural network; CNN) による教師あり学習に基づき、反射率や照明だけでなく、画素ごとに光の遮蔽を 9 次元の SH の係数として符号化した、光伝達マップも推定する。この推定を実現する上での主な難しさは、人物画像の無限のバリエーションに比べ訓練データが不足している、という点である。驚くべきことに、光伝達マップで現されるような幾何情報というのは、注意深く用意された小規模な合成人物データセットを用いることで、CNN がデータの一貫性を活かし、それらしく推定することが可能だとわかった。光の遮蔽を無視した定式化よりも、提案手法の方がより写実的な再照明を実現できることを示す。
キーワード: 逆レンダリング, 光伝達, 畳み込みニューラルネットワーク
(Coming soon)
本プロジェクトに多大なご支援をいただいた株式会社 ZOZO テクノロジーズ (旧名称: スタートトゥデイテクノロジーズ) に深く感謝いたします。また建設的なご意見をいただいた匿名の査読者、最終原稿の校正を担当してくれた Sina Kitz 氏にも感謝いたします。論文および動画の入力画像は、以下の方のご厚意によるものです: Kat Garcia, Kinga Cichewicz, George Gvasalia, Jacob Postuma
Last modified: 30 June 2021
[back]