『アバター：ウェイ・オブ・ウォーター』を生み出した映像革命とは？その最新技術に迫る（前編）

パフォーマンス・キャプチャーの進化

　今回VFXをメインで担当したプロダクションは、Wētā FX社である。元々ピーター・ジャクソン監督が、『ロード・オブ・ザ・リング』シリーズのためにニュージーランドの首都ウェリントンに設立した会社だ。かつてはWetaデジタルという社名で活動していたが、2022年3月14日からは名称が変更されている。旧Wetaデジタル社は、単なるVFXプロダクションとしてだけではなく、『アバター』で数々の画期的な機材の開発も行っている。その一つがパフォーマンス・キャプチャーの改良だった。

　そもそもパフォーマンス・キャプチャーという用語は、ロバート・ゼメキス監督が『ポーラー・エクスプレス』（04）の時から用いている言葉で、基本的にはモーション・キャプチャーと同じ意味である。この作品で使用された手法は、光学式モーション・キャプチャーというもので、その原理は人体に付けた再帰性反射マーカーを、複数の赤外線カメラで追跡する（*1）というものだ。

　わざわざ“パフォーマンス”と呼んだ理由は、従来のキャプチャーに用いられていた赤外線カメラの数が、数台～10数台程度だったのに対し、ソニー・ピクチャーズ・イメージワークス（SPI）社が一気に72台まで増やして、読み取り精度を飛躍的に高めことから、差別化する意味で名付けられた。これによって、従来は手付けでアニメートされていた顔の表情や指の動きも、多数のマーカーを付けることでキャプチャーが可能になった。しかし、マーカーを貼れない眼球は手付けに頼っていたため、アニメーターの作業が追い付かない脇役たちは無表情になってしまった。

『アバター：ウェイ・オブ・ウォーター』(C) 2022 20th Century Studios. All Rights Reserved.

　次にゼメキス監督は、同じくSPIでパフォーマンス・キャプチャー作品の『ベオウルフ/呪われし勇者』（07）を作っている。この時SPIは、赤外線カメラの数を228台に増やし、さらに目の動きのキャプチャーにも挑戦した。これは、眼球運動を計測するEOG（Electro-oculograph）法を応用し、目周辺の電位変化を測定することで実現させた。だが、顔全面にビッシリと電極を貼られることになってしまい、俳優たちからはあまり評判が良くなかった。

　そこでキャメロンは『アバター』のために、もっと実用的なフェイシャル・キャプチャー（顔の表情のキャプチャー）技術を求めた。そこで、Wetaデジタルのバーチャル・プロダクション・スーパーバイザーを担当していたグレン・デリー（*1）は、頭部に小型赤外線カメラを装着する、ヘッドマウンテッドカメラ（HMC）を考案する。

https://www.wetafx.co.nz/research-and-tech/technology/facets/

https://www.wetafx.co.nz/films/case-studies/neytiri/

　これならば俳優たちは、顔にペイントやシールでマーキングするだけで済み、キャメロンの要求を実現させた。だがこの時は、カメラがSD解像度で不鮮明だったことと、俳優各自に1台付けられていただけだったため、マーカーを読み取れない箇所ができてしまった。結果として、CGアニメーターたちが手でかなり修正している。

　一方ゼメキスは、パフォーマンス・キャプチャー専用スタジオであるイメージムーバーズ・デジタルをディズニーの資本提供によって設立する。そして第1作として『Disney's クリスマス・キャロル』（09）を監督した。この時は、HMCの解像度をHDとし、各自4台まで増強した。

『アバター：ウェイ・オブ・ウォーター』(C) 2022 20th Century Studios. All Rights Reserved.

　以降HMCは、HD解像度の2台で十分だと分かり、『トロン：レガシー』や『タンタンの冒険/ユニコーン号の秘密』（11）、リブート版『猿の惑星』シリーズ、『アリータ：バトル・エンジェル』などに使用される。現在では『スター・ウォーズ』シリーズや、マーベル・シネマティック・ユニバースなど、世界のVFX業界で標準になっており、俳優の表情の微妙なニュアンスまでCGキャラクターに反映できるようになった。ちなみに『WoW』用のHMCは、防水仕様に再設計されている。

　もっともデリーが、『アバター』のために開発した技術はHMCだけではない。例えば、監督がパフォーマンス・キャプチャー作業時に、完成映像を予想しながら、仮想カメラの適切なポジション決めや、俳優への演技指導を行なうためのバーチャルカメラがある。基本的には、キャプチャー用マーカーでポジションが検出できる液晶ディスプレイだ。監督がこれを手に持って移動すると、その場所から見えるはずのCGキャラクターが、CGの背景にコンポジットされ、ゲームエンジンによるリアルタイム動画で表示される。これで仮想世界の、直接演出が可能になった。

　だがキャメロンはこれだけでは満足せず、実写の3D撮影においても、CGキャラクターがリアルタイムで合成できる装置を望んだ。デリーは2年かけて取り組み、サイマルカムという装置を開発した。問題は、スタジオの照明や屋外の太陽光に、ポジショントラッキング用の再帰性反射マーカーの光が負けてしまうことである。そこでデリーは、高輝度LEDで発光するアクティブマーカーを考案する。だが、そのままでは映像自体に影響が出るため、個々のマーカーにCPU機能を持たせ、撮影用カメラのシャッターが下りているタイミングだけに、赤外線パルスを放射する仕組みを作り上げた。（*2）

　こうしてデリーが開発したバーチャルカメラやサイマルカムは、VFXだけでなく、アニメーション、VR、メタバース、建築、都市空間設計などの業界に幅広く普及し、今回の『WoW』でも大活躍している。

https://www.wetafx.co.nz/research-and-tech/technology/virtual-production/

*1 グレン・デリーは、HMCやバーチャルカメラを専門に扱うテクノプロップスを設立した。同社は、17年に20世紀フォックスが買収し、フォックスVFXラボとなる。しかし、20世紀フォックスがディズニーに買収されたことで閉業となり、現在はILMのハードウェア部門となっている。ILMは、『アバター』や『WoW』に参加しているVFXプロダクションの1つである。

*2 LEDアクティブマーカーはキャプチャー用スーツにも応用することで、屋外ロケでのパフォーマンス・キャプチャーが可能になり、リブート版『猿の惑星』シリーズや『ジェミニマン』（19）などで使用されている。これにより雨天や雪山などの環境においても、背景や実写の人物の撮影を、パフォーマンス・キャプチャーと同時に実行可能になった。

水中パフォーマンス・キャプチャーに挑戦