テキストから動画を生成!Luma AIの新機能「Dream Machine」を検証

Luma AIは、スマートフォンで撮影した動画や写真、テキストから3Dモデルを生成する技術で知られていますが、最近になり動画生成機能である「Dream Machine」を発表しました。本記事では、Luma AIの動画機能についての詳細と実際に動画作成を検証した感想について紹介していきますので、ぜひ最後までご覧ください!

ARCHETYP Staffingでは、多様なプロフェッショナル人材を募集しています。
ここでしか見つからない魅力的な企業の求人も多数取り揃え、あなたのスキルと経験を最大限に活かせるポジションをご提供します。
また、正社員から、高収入かつ働き方の自由度が高いプロジェクトベースの仕事や、よりプロフェッショナルとして働く契約社員へのキャリアチェンジを考えている方も大歓迎です。

ご自身の今後のキャリアについて相談したい方も、ぜひお気軽にお問い合わせください。
私たちが、あなたのキャリアの可能性を広げるお手伝いをいたします。

ボタンから募集中の求人一覧ページに移動できます。

Luma AIとは

Luma AIは、スマートフォンで撮影した動画や写真、またはテキストから3Dモデルを生成するサービスです。アメリカ・サンフランシスコ発のこのサービスは、複数の情報をシームレスに処理するマルチモーダルAI技術を活用しています。Luma AIの主な機能は、撮影画像から3Dモデルを作成する機能です。iPhoneで物体やシーンを撮影するだけで、数分で高品質な3Dモデルを生成することができます。生成された3Dモデルは、リアルな質感や照明効果を再現し、寸法の正確性も非常に高いです。また、テキストプロンプトから3Dモデルを作成する機能「GENIE」も提供しており、テキストで指示を入力するだけで、10秒以内に複数の3Dモデルを生成することが可能です。さらに、Luma AIで生成された3Dモデルは、テクスチャや照明を追加してリアルタイムで編集でき、さまざまな形式で共有することができます。Luma AIは、eコマースの製品メニュー、不動産リスティング、ソーシャルメディア、インディーゲーム開発、VFXや映画制作など、幅広い用途で活用されています。実際に、2D画像から3Dモデルに変更することでコンバージョン率が向上した事例も報告されています。このように、Luma AIは手軽さと高機能を兼ね備えた生成AIツールとして、さまざまな分野での利用が期待されています。
この時点でもすごいですが、今回の本題は動画生成機能です!次セクションではLuma AIの動画機能について解説していきます。

Luma AIの動画機能「Dream Machine」

先程紹介した機能は3Dモデル生成についてですが、Luma AIは6月12日に、テキストや画像から5秒間の高品質な動画を作成できる画像生成AIモデル「Dream Machine」を公開しました。Dream Machine」は、テキストプロンプトや画像から高品質でリアルかつ幻想的な動画を作成するAIモデルであり、ユーザーは登録を行うだけで、120フレーム(24fps x 5秒)の動画を毎月30本無料で生成することができます。このAIモデルはマルチモーダルTransformerアーキテクチャ上に構築されており、物理的に正確で一貫性のあるアクション満載のシーンを生成することができます。なお、トレーニングに使用された動画の詳細については公開されていません。モデルのトレーニングにはAmazon Web Services(AWS)および、NVIDIA H100を使用した機械学習トレーニングインフラストラクチャ「SageMaker HyperPod」が使用されています。この高性能なインフラにより、Dream Machineは非常に高品質な動画生成を実現しています。「Dream Machine」の使い方は非常にシンプルで、Googleアカウントでログインし、プロンプト(日本語も対応)を入力するだけで動画を生成できます。また、画像をアップロードし、その画像をアニメーションにする「i2v(image to video)」機能も利用可能です。このように、Luma AIの「Dream Machine」は手軽に高品質な動画を生成できるツールであるため、今後使用する人は増えることが予想されます!

実際に「Dream Machine」を使ってみた!

無料で使えるとのことでしたので早速筆者も使ってみました!
使い方はすごく簡単で、上記でも紹介している通り、ログインしてプロンプトを入力するだけです。今回は3つの動画を生成してみました。なお、ここでのお題は分かりやすいように日本語にしていますが、実際は英語のプロンプトで入力しています(日本語も対応しています)。

お題1:宇宙飛行士が国際宇宙ステーションで無重力実験をしている様子

めちゃくちゃ完成度が高いわけではないですが、お題通りの動きをしてくれているので合格点をあげられるレベルではあります!

お題2:オフィスでホログラムを使った会議を行うシーン

ホログラムの中がどうなっているかがハッキリとは見えませんでしたが、ホログラムを見ながら会議をしているというイメージ通りの動画が創出されました!会議室全体も近未来感があるので、単純なプロンプトでもAIがしっかり理解していることが伺えます。

お題3:シェフが分子ガストロノミーを使って不思議なデザートを作っているシーン

最後は少し難しめのお題を提示してみました。分子ガストロノミーとは、食品の化学的および物理的性質を研究し、その知見を活用して新しい調理技法や料理を創造する分野のことであり、要するに化学と料理が融合した動画が生成されれば成功です。実際に生成された画像に関しては、液体窒素のようなものが料理にかけられているシーンがあったので、お題には沿っていると言えるでしょう!欲を言えば、デザートがもう少し分かりやすければ文句はなかったのですが(笑)

まとめ

いかがだったでしょうか?
今回はLuma-aiの新機能である「Dream Machine」を実際に試してみました。結論としては、「これが無料で使えるのはおかしい!」と思うくらいには精度が高かったように感じます。月に30回まで生成が可能らしいので、毎日1回は使えそうですね。この動画を繋ぎ合わせていけば約3分くらいの動画が生成できそうなので、近々検証してみたいと思います!

ARCHETYP Staffingでは、様々な領域のプロフェッショナル人材を幅広く募集しています!

– 経営コンサルタント、事業コンサルタント
– テクノロジー活用に積極的な教育関係者(リスキリング指導者)
– UI/UXデザイナー、フロントエンド・バックエンドエンジニア、プロジェクトマネージャー
– マーケティング・PRプロフェッショナル、コンテンツクリエイター、ビジネスプロデューサー – AI・テクノロジー分野でのキャリアを模索するすべてのプロフェッショナル
– 正社員から登録型派遣社員へのキャリアチェンジを考えている方

自らの専門性を武器に、AIを活用しながら活躍したい方は、ぜひご登録ください。

ジョブ型の働き方を支援し、プロフェッショナルの活躍の場を広げるARCHETYP Staffing。
AI時代のキャリアを切り拓く仲間を心よりお待ちしています。

ボタンから募集中の求人一覧ページに移動できます。

クリエイター登録して、案件情報を受け取る!

クリエイター登録