- テクノロジー
背景用に8K×3K(10×4m)のCrystal LEDディスプレイを設置。そのCrystal LEDディスプレイに、事前に3Dスキャンし制作したCG映像を表示し、CineAlta「VENICE」でセットの撮影を行なっていました。
↑「ゴーストバスターズ」のセットを使用
↑背景のセットはCrystal LEDディスプレイに表示されたCG映像
CG映像はカメラの動きに合わせて緻密に作り込まれており、ディスプレイ(背景)とセットをカメラで撮影すると、リアリティある映画のワンシーンが撮影できるというシステムとなっています。
↑撮影デモ風景
従来の映画撮影の現場でも、静止画をバックとしてカメラで撮影する事例は多いですが、静止画バックのカットの場合、パースによって静止画という事がバレてしまう為、今回のデモの様に移動撮影は出来ませんでした。
今回のデモの特徴は、背景映像が8Kの超高画質でハイコントラストである事に加え、背景映像が3Dデータを持ち、動きの表現や動きに連動した光の反射や影の表現、奥行きの変化等にも対応する点となっています。これによりリアリティを向上させています。
↑上のディスプレイがカメラを通じて撮影された映像
背景映像を見ていると、カメラでの撮影の動き(視点の動き)に連動して、看板の表示も自然に動いている事が分かります。その為、不自然さがなく、カメラに捉えられた映像は、セットの水たまりの反射光も自然に再現しています。
↑水たまりの光の反射は、背景CGのコントロールで調整する
また、3DCGは単なる背景映像だけでなく、風に吹かれていく落ち葉なども合成し、表示しています。
セットのクオリティも相当凄いですが、とにかくカメラと合成された映像のリアリティが圧倒的となっています。目の前のディスプレイとセットで撮影しているにも関わらず、撮影された映像が本物に見えます。
映画制作現場への導入はまだ始まっていないものの、SPE内でのデモでは高い評価を得ており、今後映画制作者に積極的にアピールしていくとしています。
また、3D空間キャプチャの利点は、実物に迫るリアリティだけでなく、映画制作上でのメリットも大きいとしています。
例えば、「夜の東大寺」のシーンが必要であれば、東大寺の3Dデータ(Point Clowd)を取得・撮影しておけば、背景データを自由に扱える様になり、セットだけを用意して撮影出来る様になります。昼のシーンが必要であれば、昼間に3Dデータを取得すれば良いですし、明るさや色、テクスチャの調整も行なえる為、演出意図に沿って映像を作り込む事が可能です。
一方、3D空間キャプチャでは、まだ難しい部分もあるとの事。例えば、人が背景に向かって行く様なシーンだと、背景側の動きが大きくなり、映像の作り込みが難しくなります。
また、人が背景に「入っていく」というシーンでは、グリーンバックを使う等、既存の撮影手法との組み合わせが必要になる等、困難な部分もあるとの事です。
今のところ、日本で紹介する機会は無いそうですが、説明員も「IMAXで見てもバーチャル撮影とはわからないはず」と自信を見せるクオリティとなっています。
また、この空間キャプチャは、スタッフ1名で7時間程度で行なえるとの事です。一部をセットで、一部を背景映像で組み合わせて撮影するのであれば、俳優や撮影隊が現地に行かずにも多くのシーンを撮影可能となります。
ハリウッドではハリウッドユニオンが強く、撮影時間は厳密に管理される為（基本1日8時間～10時間、週5日労働。これを超える場合は時間当たりの単価が跳ね上がるオーバーチャージがかかる）、一定の条件での撮影はなかなか難しくなっています。
こうしたバーチャル撮影を組み合わせる事で、映画制作の効率化や時間や場所の制約を緩和でき、クリエイターの創造力を生かせるとしています。
これはなかなか面白い技術ですね。映像は高解像度、広色域、HDRで表示すると、2Dでも3Dの様な立体感が得られるという特性があります。更にそこに3DCGの表示によりカメラワークに連動してパースが変わって行きますから、より立体感が増して行きます。
Crystal LEDディスプレイが無いと成立しない技術ですし、「テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニー」を目指すSONYを具現化する技術だと思います。
■プレスリリース（CES2020）
https://www.sony.co.jp/SonyInfo/News/Press/202001/20-001/
■Atom Viewによるバーチャル制作（YouTube SONYオフィシャルアカウント）
https://www.youtube.com/watch?time_continue=9&v=Jdk8ZscJ7rE&feature=emb_logo
↑「ゴーストバスターズ」のセットを使用
↑背景のセットはCrystal LEDディスプレイに表示されたCG映像
CG映像はカメラの動きに合わせて緻密に作り込まれており、ディスプレイ(背景)とセットをカメラで撮影すると、リアリティある映画のワンシーンが撮影できるというシステムとなっています。
↑撮影デモ風景
従来の映画撮影の現場でも、静止画をバックとしてカメラで撮影する事例は多いですが、静止画バックのカットの場合、パースによって静止画という事がバレてしまう為、今回のデモの様に移動撮影は出来ませんでした。
今回のデモの特徴は、背景映像が8Kの超高画質でハイコントラストである事に加え、背景映像が3Dデータを持ち、動きの表現や動きに連動した光の反射や影の表現、奥行きの変化等にも対応する点となっています。これによりリアリティを向上させています。
↑上のディスプレイがカメラを通じて撮影された映像
背景映像を見ていると、カメラでの撮影の動き(視点の動き)に連動して、看板の表示も自然に動いている事が分かります。その為、不自然さがなく、カメラに捉えられた映像は、セットの水たまりの反射光も自然に再現しています。
↑水たまりの光の反射は、背景CGのコントロールで調整する
また、3DCGは単なる背景映像だけでなく、風に吹かれていく落ち葉なども合成し、表示しています。
セットのクオリティも相当凄いですが、とにかくカメラと合成された映像のリアリティが圧倒的となっています。目の前のディスプレイとセットで撮影しているにも関わらず、撮影された映像が本物に見えます。
映画制作現場への導入はまだ始まっていないものの、SPE内でのデモでは高い評価を得ており、今後映画制作者に積極的にアピールしていくとしています。
また、3D空間キャプチャの利点は、実物に迫るリアリティだけでなく、映画制作上でのメリットも大きいとしています。
例えば、「夜の東大寺」のシーンが必要であれば、東大寺の3Dデータ(Point Clowd)を取得・撮影しておけば、背景データを自由に扱える様になり、セットだけを用意して撮影出来る様になります。昼のシーンが必要であれば、昼間に3Dデータを取得すれば良いですし、明るさや色、テクスチャの調整も行なえる為、演出意図に沿って映像を作り込む事が可能です。
一方、3D空間キャプチャでは、まだ難しい部分もあるとの事。例えば、人が背景に向かって行く様なシーンだと、背景側の動きが大きくなり、映像の作り込みが難しくなります。
また、人が背景に「入っていく」というシーンでは、グリーンバックを使う等、既存の撮影手法との組み合わせが必要になる等、困難な部分もあるとの事です。
今のところ、日本で紹介する機会は無いそうですが、説明員も「IMAXで見てもバーチャル撮影とはわからないはず」と自信を見せるクオリティとなっています。
また、この空間キャプチャは、スタッフ1名で7時間程度で行なえるとの事です。一部をセットで、一部を背景映像で組み合わせて撮影するのであれば、俳優や撮影隊が現地に行かずにも多くのシーンを撮影可能となります。
ハリウッドではハリウッドユニオンが強く、撮影時間は厳密に管理される為（基本1日8時間～10時間、週5日労働。これを超える場合は時間当たりの単価が跳ね上がるオーバーチャージがかかる）、一定の条件での撮影はなかなか難しくなっています。
こうしたバーチャル撮影を組み合わせる事で、映画制作の効率化や時間や場所の制約を緩和でき、クリエイターの創造力を生かせるとしています。
これはなかなか面白い技術ですね。映像は高解像度、広色域、HDRで表示すると、2Dでも3Dの様な立体感が得られるという特性があります。更にそこに3DCGの表示によりカメラワークに連動してパースが変わって行きますから、より立体感が増して行きます。
Crystal LEDディスプレイが無いと成立しない技術ですし、「テクノロジーに裏打ちされたクリエイティブエンタテインメントカンパニー」を目指すSONYを具現化する技術だと思います。
■プレスリリース（CES2020）
https://www.sony.co.jp/SonyInfo/News/Press/202001/20-001/
■Atom Viewによるバーチャル制作（YouTube SONYオフィシャルアカウント）
https://www.youtube.com/watch?time_continue=9&v=Jdk8ZscJ7rE&feature=emb_logo