Wonder Dynamics

1. マーカーレスAIモーションキャプチャ： 一般的な動画から、俳優の体、顔、手の動きを直接抽出します。モーションキャプチャスーツや撮影現場のマーカーは必要ありません。
2. CGキャラクター置き換え： 動画内の実写俳優を3Dキャラクターへ置き換え、キャラクターの動き、ライティング、シーンへの合成を処理します。
3. カメラトラッキング： 元動画のカメラワークを解析し、対応する3Dカメラデータを生成して、その後の合成作業へ利用できます。
4. 動画から3Dシーンを生成： 動画からキャラクター、カメラ、環境の空間的な関係を再構築し、アニメーションやVFX制作に使用します。
5. AIキャラクター生成・リギング： テキストや画像から3Dキャラクターを作成し、リギングを行ってアニメーションへ利用できる状態にします。
6. ポストプロダクション素材の書き出し： モーションキャプチャ、カメラトラッキング、クリーンプレート、アルファマスク、キャラクターパスなどの素材を出力できます。
7. 3Dシーンの書き出し： キャラクター、アニメーション、カメラなどのデータをUSDやFBX形式で書き出し、Maya、Blender、Unreal Engineで引き続き編集できます。

まず、比較的シンプルな人物1人の動画をアップロードしました。

人物がカメラの前で動いている映像を用意し、プリセットのロボットキャラクターを選んで置き換えました。

処理が完了すると、元の人物はロボットへ変わっていました。主要な体の動きはほぼ追従しており、カメラの動きとシーン内の位置関係も維持されていました。

このようなショットは、初めて見ると非常にわかりやすい効果があります。

従来なら、トラッキング、切り抜き、モーションキャプチャを行い、その後にCGキャラクターを処理する必要がありました。Flow Studioは、その多くの工程を一度の処理へまとめています。

ただし、「動画をアップロードするだけで完成映像が出てくる」わけではありません。

シンプルなショットは効率化できますが、複雑なショットでは依然として問題が出ます。

人物が素早く振り向く、腕を交差させる、体の一部がほかの物体に隠れるといった場面では、動きが不自然になりやすいです。キャラクターの輪郭や光と影も、追加修正が必要になる場合があります。

短いSNS動画として使うだけなら、すでに許容できる品質かもしれません。

しかし、本格的な映画や広告へ使用する場合は、通常、データを3Dソフトへ書き出して、さらに調整する必要があります。

そのため、Maya、Blender、Unreal Engineを使えるかどうかは、最終的な仕上がりへ引き続き影響します。

Creditsの消費量も、事前に計算する必要があります。

5秒の実写ショットを1秒あたり20 Creditsで処理すると、合計100 Creditsになります。無料版は300 Creditsしかないため、数回試すだけですぐに使い切る可能性があります。

本格的なプロジェクトでは、先に処理するショットを選別し、本当にAI VFXが必要な部分だけをアップロードするほうがよいでしょう。

もうひとつの特徴は、ローカルPCへの要求がそれほど高くないことです。

計算処理の大部分はクラウドで行われるため、一般的なPCからブラウザで利用できます。ただし、素材が大きいほどネットワークへの依存度が高まります。特に4K動画では、アップロードとダウンロードにかなりの時間がかかります。

Autodeskの教育利用資格がある場合は、まず教育プランの窓口を確認することをおすすめします。

学生にとっては、最初からサブスクリプションを契約するより適切です。

良いところ

• 従来型のモーションキャプチャ機器が不要： 一般的な動画から体、顔、手の動きを抽出できます。
• 基礎的なVFX作業を大幅に減らせる： キャラクター置き換え、カメラトラッキング、一部のポストプロダクション素材を自動生成できます。
• 生成結果を引き続き編集できる： Maya、Blender、Unreal Engineなどへデータを書き出して仕上げられます。
• ブラウザだけで利用できる： 複雑なローカル計算環境を構築する必要がありません。
• 無料版で一連の流れを試せる： 300 Creditsあれば、短いショットを数本テストできます。
• 教育ユーザー向けの利用方法がある： 対象者は教育プランを確認できます。

気になるところ

• 複雑な動きでは依然としてエラーが発生する： 素早い動作、遮蔽、複数人のショットはAIにとって難易度が高くなります。
• 完成映像にはポストプロダクション能力が必要： 自動処理が終わっても、そのまま納品できるとは限りません。
• Creditsを急速に消費する： 動画が少し長くなるだけで、費用が明確に増加します。
• ネットワークへの依存度が高い： 大容量素材のアップロードとダウンロードには、安定した通信環境が必要です。
• 一部プランの料金が不透明： Standardなどのプランは、詳細な見積もりを確認する必要があります。

向いている人 / あまり向いていない人

向いている人

• インディペンデント映画制作者： 完全なVFXチームはないものの、プロジェクトにCGキャラクターが必要な人に適しています。
• YouTube・短編動画クリエイター： 実写素材へ3Dキャラクターや視覚効果を素早く追加できます。
• 小規模な広告・制作チーム： プレビジュアライゼーションや基礎的なVFXを素早く作り、その後でポストプロダクション担当者が仕上げられます。
• 3D・VFX初心者： 繰り返し行うトラッキングやモーションキャプチャ作業を減らし、その後の調整へ時間を使えます。
• すでにMaya、Blender、Unrealのワークフローを持つ人： Flow Studioから書き出したデータを実際の制作へ活用しやすくなります。

あまり向いていない人

• ワンクリックで完成作品を作りたい人： 複雑なショットでは、通常追加修正が必要です。
• 3Dソフトを一切使いたくない人： AIは作業のハードルを下げますが、ポストプロダクション全体を代行するわけではありません。
• 複雑な複数人ショットを頻繁に扱うチーム： 遮蔽、高速動作、人物同士のやり取りでは問題が起きやすくなります。
• 通信環境が悪い人： 大量の動画をクラウド処理する場合、使いにくくなります。
• 長い動画へ大量のVFXを適用する人： 秒単位のCredits消費を慎重に計算する必要があります。

Flow Studioが本当に減らしてくれるのは、「映画を撮ること」そのものではありません。映像制作の中で時間がかかる、さまざまな基礎的VFX作業です。

通常の実写映像をそのままモーションキャプチャへ利用し、人物をCGキャラクターへ置き換えながら、カメラデータやポストプロダクション用データも生成できます。

個人クリエイターにとっては、これだけでも多くの工程を省けます。

ただし、Flow StudioはVFXワークフローを高速化するツールであり、自動的に完成映像を作る機械ではありません。

簡単なショットなら最初の処理結果でも使える可能性がありますが、複雑な動作、遮蔽、最終的なライティングや合成には、引き続き人の作業が必要です。

初めて使う場合は、5〜10秒程度の人物が1人だけ映るショットで試すのが適しています。

まずキャラクターの動きに明らかなずれがないか確認し、その後、書き出したカメラ、モーション、マスクなどのデータを普段使っている3Dソフトへ読み込んでください。

この工程が従来の制作フローより本当に時間を短縮できるなら、その後でLite以上のプランを検討するとよいでしょう。

教育関係者は、最初にAutodeskの教育利用資格を確認してください。対象であれば、すぐに有料プランを購入する必要はありません。