この記事のポイント
この記事は、「Stable Video 3D」という新しいAIモデルについて解説しています。- 「Stable Video 3D」は単一の画像から3Dビデオを生成できる技術で、2種類のバリアントがあります。
- 商業目的ではStability AI Membershipが必要ですが、非商業目的では自由に使用可能です。
- ビデオ拡散モデルを使用し、従来より一貫性のある複数視点からのビデオ出力を実現しています。
- 新規視点合成の進展で、限られた角度からの映像でも一貫した高品質な3Dビジュアル生成を可能にしています。
監修者プロフィール
坂本 将磨
Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。
AI技術が新たな地平を切り開く今、単一画像から高品質の3Dビデオを生成する「Stable Video 3D（SV3D）」という革新的なAIモデルが注目を集めています。SV3Dは、単一の静止画からオブジェクトを異なる角度から捉えたような3Dビデオを生み出すことができる技術で、SV3D_uとSV3D_pの2つのバリアントを含んでおり、それぞれ異なる特性を有しています。ビデオ拡散モデルを応用し、一貫性のある多視点からのビデオ出力が可能となり、新規視点合成の進展により、従来の技術に比べて信頼性の高い3Dビジュアルが簡単に得られます。この先進的な技術は、商業的利用にはStability AI Membershipが必要ですが、非商業的な用途であれば自由に利用でき、中学生でも容易に3Dビデオ制作に挑戦することが可能です。新しい視角から世界を体験できるこの技術の可能性について、こちらの記事で詳しくご紹介します。
Stable Video 3Dの登場: 単画像からの3Dビデオ生成に革命
Stable Video 3D（SV3D）は、単一の画像から質の高い3Dビデオを作成する最先端の技術です。これにより、たった一枚の写真から、オブジェクトを様々な角度から見たかのような複数のビューを生み出すことが可能になりました。この技術は、2つのバリアント、SV3D_uとSV3D_pを含んでおり、SV3D_uはカメラ調整が不要な単画像から3D軌道ビデオを生成でき、一方SV3D_pは指定されたカメラパスに沿ってより複雑な3Dビデオを作成する機能を持っています。
商業的な使用を目的とする場合はStability AI Membershipが必要ですが、非商業目的であればHugging Faceからモデルの重みをダウンロードすることで利用できます。これにより、中学生でも3D技術を使って、自分だけのビデオを作成することができるようになります。
高度なビデオ拡散技術を搭載
Stable Video 3Dは、ビデオ拡散モデルを活用してオブジェクトのマルチビュービデオを生成することができます。これにより、従来の画像拡散モデルよりも一貫性のあるビューと出力が得られるという大きなメリットがあります。
また、Stable Video 3Dはオブジェクトの周囲を自由に動き回る軌道を生成するための3D最適化も提案しています。これは新しい技術を活用することで、単一画像から信頼性の高い品質の3Dメッシュを生成することを可能にします。この技術を使えば、中学生でも3Dメッシュの作成に挑戦でき、よりリアルで精巧なビデオを作り出すことができるでしょう。
新しい視点からの世界を体験
Stable Video 3Dの最大の特徴は、新規視点合成（NVS）における進歩です。このモデルは、従来の技術が苦戦していた限られた視点や不一致の問題を解決し、与えられたどの角度からも一貫したビューを提供します。これにより、オブジェクトの外観が複数のビューにわたって一貫しており、よりリアルで正確な3D生成が可能になります。
