動画生成AI、その活用に必要なスキルとは
Q：AIへの指示から動画の生成まで、どのようなワークフローで進行されたのでしょうか。
山口：まず画像をmidjourneyなどで作り、それをもとにRunway Gen4などで動画にした後、Topazなどでアップスケールをかけて質感を上げていきます。用途に合わせてたくさんのAIを使いました。また、どうしてもAIで修正できないところは、自分でPhotoshopやAfter Effectを使って対応しています。特に看板などの文字周りはほとんど直していますね。そこはAIだけではなかなか自分の思い通りにはなりませんでした。
Q：音楽やセリフなどの音周りも全てAIで作られたのですね。
山口：セリフは、Eleven LabsというAIを使いました。これは日本語のセリフも作れるのですが、まだまだ辿々しいので今回は英語にしています。英語だと感情表現も可能で、ちゃんと演技をしてくれるんです。
『グランマレビト』© 2025 generAIdoscope: HIROTAKA ADACHI, TAKESHI SONE, HIROKI YAMAGUCHI / REALCOFFEE ENTERTAINMENT
Q：（セリフを口の動きに合わせる）リップシンクもうまく出来たのでしょうか。
山口：去年の段階ではリップシンクの性能が低くて、正面の顔だと喋ってくれるのですが、横顔になったら全然ダメという状態でした。そこで使用したのが、RunwayのAct-Oneという機能。これは、PCやスマホのカメラの前で顔を動かしたら、それと同じ動きをAIが作ってくれるんです。そこで、一旦セリフの音声をAIで作り、その音に合わせてカメラの前で自分で演技をしました。
ただ、この映画には人の言葉を話す猫が出てくるのですが、猫にリップシンクさせるのはどうしても無理でした。とにかく「しゃべる猫」というプロンプト（AIへの質問や指示）を打ち続け、口の動きが合った映像が何とかできたら、その部分だけを編集で使いました。RunwayのAct-Oneも、つい先日新しいバージョンが出たのですが、そこでは動物のリップシンクも大丈夫になっていました（笑）。日々の作業は、AIの進化との追いかけっこでしたね。アップデートを待っていればいつかは全部できるようになるのですが、それを去年やろうとしたから大変だったんです。
Q：生成AIでの素材作りがいわゆる撮影の部分にあたり、それを元にご自身で編集されているような感覚なのでしょうか。
山口：編集をやってくれるAIもあると思いますが、個人的にはそれはまだ必要ないかなと。要は、今まで作れなかった映像を作るツールとしてAIを使っているんです。SF映画が作りたくてMaya（CG制作ソフト）などにもトライしましたが、かなり難しくて使いこなすまでには至りませんでした。Mayaでやろうとしていたことを諦めかけたときに出会ったのが、AIだったというわけです。場合によっては、Mayaで頑張っても作れないようなリアルなCGも作ることも可能ですから。
Q：Mayaなどのソフトは専門スキルが必要になってきますが、生成AIを使うにあたり必要なのは言葉での指示のみなのでしょうか。
山口：そうですね。必要なのは言語化能力です。ただ、ワンカットを作る分にはそれで良いのですが、それを繋いで映画やドラマを作るにあたっては、映像制作の経験がある方が断然有利ですね。
Q：画角やカメラワーク、カメラのシャッター開角度などへのこだわりも感じますが、そういった微調整も可能なのでしょうか。
山口：細かくプロンプトを入れれば可能です。ツールによっては、すでにそういった細かい機能が付いていたりもするので、ある程度狙ったものに近い映像を作ることが出来ます。
Q：CGソフトは3D空間上に人物や背景を置き、そこにカメラを設置して作っていきますが、AIの場合はそういったものも全て言葉で指示するのでしょうか。
山口：言葉以外の指示としては、リファレンス画像を読み込ませる方法があります。そうした画像を一枚作っておくと、全体の統一感が出てきます。もちろん完璧ではないので、都度Photoshopで直したり、プロンプトで再度調整する必要はあります。
Q：CG制作にはレンダリング（データ処理・演算）が必要ですが、AIによる動画生成にはレンダリングという概念はないのでしょうか。
山口：もはやなくなってきていますね。プロンプトを打ち込むとすぐに映像が出てきます。圧倒的な早さです。去年は待ち時間が長かったのですが、今はどんどん早くなっています。
公式SNSをフォロー
