Stability AIが新たに、「Stable Video 3D」（SV3D）を公開しました！
この技術によって、たった1枚の画像から3Dモデルを再現する高品質な動画を生成できるようになります。この記事では、SV3Dの技術的な特徴や概要、生成のプロセスまで、わかりやすく解説していきますので、ぜひ最後まで読んでみてください！
論文はこちら
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
Stable Video 3D（SV3D）の概要
SV3Dは、静止画から高品質な3Dモデル動画を生成することができ、商用利用は月額20ドルのStability AIメンバーシップが必要になりますが、非商用利用では無料でアクセス可能です。
SV3Dは、2つのモデル「SV3D_u」と「SV3D_p」を提供しており、前者は静止画からオブジェクトの360度動画を生成し、後者は追加のカメラパス情報を用いて特定の動画を作成することができます。
SV3Dの技術的特徴
SV3Dの技術は、以下の２つの特徴があります。
モデルの種類
先ほどのセクションでも説明しましたが、SV3Dは、「SV3D_u」と「SV3D_p」の2種類のモデルを提供しています。SV3D_uは、単一の画像からオブジェクトを360度回転させる動画を生成。一方、SV3D_pは、画像に加えてカメラの軌道情報を入力することで、指定されたパスに沿った動画を作成します。
基盤技術
SV3Dの開発には、Stable Video Diffusion（SVD）技術が活用されています。
SVDは、画像から動画を生成するAIモデルで、時間的一貫性を保ちながら3Dオブジェクトの空間的一貫性も作ることができます。この技術は、単一の画像から形状、質感、影まで、リアルな3Dモデルを生成することができます。
3Dモデル生成プロセス
3Dモデルの生成プロセスは、大きく分けて2つのステップから構成されています。
1. マルチビュー画像の生成
最初のステップは、入力された単一の画像からマルチビュー画像を生成することです。
この段階では、動画生成AI「Stable Video Diffusion」をベースとした手法が使用され、画像内のオブジェクトを様々な角度から撮影したかのような連続する画像を生成します。
このプロセスは、Novel Multi-view Synthesis（NVS）と呼ばれ、3Dモデルの精度を高めてくれます。
2. 3Dモデルの最適化
次に、生成されたマルチビュー画像を用いて3Dモデルを最適化します。
このステージでは、Neural Radiance Fields（NeRF）とDifferentiable Marching Tetrahedral Meshes（DMTet）という2つの3D表現技術が活用されます。これらの技術によって、形状、テクスチャ、照明といった複雑な要素を含む高品質な3Dメッシュが作成されます。
結果として、最適化された3Dメッシュは、「Maya」「3ds Max」「Blender」「Unity」といった3Dソフトウェアにインポートして使用することができます。
技術的・実務的課題と展望
ここまでSV3Dの良い部分を取り上げてきましたが、まだ解決すべき課題も残っています。
特に、複雑な形状や質感、動的なオブジェクトを再現する能力の向上が求められおり、現在の技術では、1枚の画像から複雑なディテールの3Dモデル生成は難しい状態です。これらの課題に対する解決策としては、さらにAIモデルの訓練とアルゴリズムの最適化が必要になります。しかし、将来的には教育、エンターテインメント、製造業、そして医療まで、3Dビジュアライゼーションが求められるあらゆる分野での活用が期待されています。
まとめ
いかがだったでしょうか？
SV3Dの技術が今後さらに進化していくことで様々な分野に応用されることが予想されますので、引き続き動向を追っていきましょう！
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
