もし、撮影した動画の中の服装を変えたり、背景を別の場所に置き換えたり、映像全体の雰囲気を変えたりできたら――。

これまで、こうした編集には専門的なソフトや多くの作業時間が必要でした。そんな動画制作の流れを変える可能性がある技術を、中国の京東(JD.com)が公開しました。

8月5日、京東は動画編集モデル「JoyAI-Video-Edit」をオープンソースとして公開しました。関連するコードや技術資料も公開され、開発者や研究者が利用できるようになっています。

この技術の特徴は、動画を最後まで読み込んでから処理するのではなく、映像が流れている途中でも編集を進められる点です。

例えば、「服を別の色に変える」「背景を海にする」「映像を水彩画風にする」といった指示を文章で入力すると、動画の内容に合わせて変更を加えることができます。

これまでの動画編集では、一度撮影した映像をパソコンに取り込み、編集作業を行い、結果を確認するという流れが一般的でした。少し修正したい場合でも、何度も作業を繰り返す必要がありました。

JoyAI-Video-Editは、その編集作業をより自然な形に変えようとする技術です。動画クリエイターやライブ配信者にとって、撮影後の修正だけでなく、その場でアイデアを試す新しい方法につながる可能性があります。

京東の公開情報によると、このモデルは服装変更、背景変更、映像内の物体削除、スタイル変更など、複数の編集機能に対応しています。技術資料では、高性能なコンピューター環境において、通常の動画再生速度に近い処理性能を確認したとしています。

一方で、現在の技術はまだ一般向けのパソコンで簡単に使える段階ではありません。リアルタイムで動画を処理するには大きな計算能力が必要で、今後は性能向上や利用環境の改善が重要になります。

動画制作はこれまで、専門知識を持つ人の領域と考えられてきました。しかし、技術が進化すれば、誰でも頭の中にあるイメージを簡単に映像へ反映できる時代が近づいているのかもしれません。

JoyAI-Video-Editの公開は、動画編集が「撮影した後に直すもの」から、「作りながら変えていくもの」へ変わっていく可能性を示しています。