高柳健次郎業績賞 2024年受賞者

「動的３次元モデル生成技術の高度化と映像制作への応用」

主な業績内容

実在する動く被写体の形状や色情報を取得して、CGの3次元モデルと同様の形式で記録できれば、コンピューター 内の仮想空間に被写体の3次元モデルを配置することで、任意の撮影位置から自由なカメラワークで被写体の映像を 生成できる。3次元モデルの取得には、光のパターンを被写体に照射して取得する能動的な手法や、複数のカメラで 撮影した映像のみを用いて取得する受動的な手法など様々なアプローチが行われていた。しかし、取得した3次元モ デルの形状精度や、表面に貼り付けるテクスチャーの解像度が十分でなく、放送番組の制作に用いるには品質が十分 でなかった。2007年、久富博士はこの課題に対して、当時まだ一般的ではなかったハイビジョンカメラ24台を被写 体の周囲に配置し、動く被写体の時系列の3次元モデル（動的3次元モデル）を、様々な方向から同時に撮影した高精 細映像から生成することで、モデルの品質向上を図った。同博士は、動的3次元モデルが一度取得すれば容易に複製 できる特徴を生かし、デジタルエキストラとして放送番組の群衆シーンを制作することに応用した。その際、複製によ るデータ量の増大を考慮して、レンダリング負荷が高い点群の数を必要最低限に削減する一方で、テクスチャーの解 像度は変えずに品質を維持した。また地面と接地している足元のレンダリング手法を工夫することで、シーンになじむ 映像を生成した。 制作したシーンは、2009年に放送されたNHKドラマ「坂の上の雲」で使用され、3次元モデルを 用いた新たな制作手法を実証した。

同博士は取得する被写体の形状の精度向上にも取り組んだ。形状取得の方法としては、撮影エリアに等間隔に配置 した点群を、各カメラにおける被写体のシルエットで切り出して3次元モデルを取得する視体積交差法や、点群の各点 を複数のカメラに投影したとき、色の類似度が高い点を抽出して3次元モデルを取得するステレオマッチング法など が提案されていた。しかし視体積交差法は凹形状が再現されない、ステレオマッチング法は色の類似度を各点で独立 に算出すると、凹凸状のノイズが発生するなどの課題があった。そこで撮影エリアに点を等間隔に配置し、視体積交差 法で求めたモデルの内側にある点において、色の類似度が高い点ほど細い線分で結んでグラフを構築した。そのグラ フを最適に2分割するエネルギー最小化問題として捉え、切断する線分の太さの合計が最小になる分割を算出するグ ラフカットというエネルギー最小化アルゴリズムを適用することで、凹凸状のノイズを抑制した凹部を含む3次元モデ ルを生成する手法を提案した。さらに、各点を各カメラ映像に投影したとき、シルエットの輪郭付近に多く投影される 点は被写体表面である確率が高いと仮定し、それらの点を結ぶ線分は細くした。また視体積交差法で抽出したモデル を縮退させて取得した被写体の芯の内側は表面である確率が低いと仮定し、線分を太くすることにより、薄い被写体 や細い被写体も取得できるようになった。この手法を用いて、薄い袖や細い杖などの小物を伴う能の舞いなど、物と して後世に残すことができない無形文化財を3次元モデルとして記録することが可能となった。

3次元モデルの取得技術は、最近目覚ましい発展を遂げているAR（拡張現実）やVR（バーチャルリアリティー）、立 体ディスプレーなどにおいても、実在する物体を仮想空間に再現するための入力手段となる重要な技術である。同氏 は動的3次元モデルを用いて、実写コンテンツを裸眼立体ディスプレーに表示する実証実験や、ライトフィールド技術 をHMDに応用する試みにも携わっており、映像技術のイノベーションに大きく貢献した。