中国のIT企業Alibabaが開発した「EMO」がいま注目を集めています！
この技術は、たった一枚の写真から人物をリアルに歌わせたり話させたりする動画を生成することができます。この記事では、EMOがどのようにしてこれを実現しているのか、その技術的な側面、さまざまな応用例について解説します。
AI技術による新たなクリエイティブな表現の可能性に興味がある方は、ぜひ最後まで読んでみてください！
EMOのサイトはこちら
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
EMOの技術紹介
アリババが開発した「EMO」は、先ほどのセクションでも記載しましたが、1枚の写真と音声データを組み合わせ、写真の人物が話したり歌ったりするリアルな動画を生み出すことができます。では、EMOはどのようにこれを実現しているのかを解説します。
大きく関係しているのは、2つの高度なエンコーダーの融合です。1つ目は、参照動画から顔の特徴や動きを捉えるフレームエンコーディング。2つ目は、音声を分析する音声エンコーダーです。これらを組み合わせることで、音声に合わせた自然な顔の動きを持つ動画を生成できる仕組みになっています。さらに、EMOは「Reference-Attention」と「Audio-Attention」という2種類のAttentionメカニズムを採用し、動画内の人物がより自然に見えるよう工夫しています。そして最後に「Temporal」モジュールが動きの速さやリズムを調整し、音声と完璧に同期した動画を作成してくれます。
このようにして、EMOは写真一枚から、あたかもその人物が実際に話しているかのようなリアルな動画を創り出すことができます。
様々な応用例
「EMO」の技術は、その応用範囲の広さで特に注目を集めています。写真やイラストを生き生きと歌わせたり話させたりするこの革新的なAIシステムは、様々な形式の画像に対応可能です。例えば、オードリー・ヘップバーンのような過去の有名人の写真から、歴史的な肖像画、さらには3DモデルやAIによって生成されたコンテンツまで、EMOは幅広い画像をリアルに動かすことができます。
また、この技術は多言語にも対応しており、英語、日本語、中国語など、さまざまな言語での歌唱やスピーチを自然な口の動きとともに再現が可能です。
その他にも、進撃の巨人のテーマ曲を歌ったデモやモナリザが話しているデモもサイト内で見ることができますので、興味のある方はチェックしてみてください！
サイトはこちら
EMOの開発背景
このセクションでは「EMO」の開発背景を深掘りしていきます。
EMOの開発はアリババのInstitute for Intelligent Computingによって行われ、写真や画像をリアルに動かすことで、新しい形のコミュニケーションやエンターテインメントを提供することを目的に始まりました。
研究チームは、EMOを開発するにあたり、膨大な量のデータに基づいてAIモデルをトレーニングしました。具体的には、250時間以上にわたるスピーチ、映画、テレビ番組、歌唱の映像を使用し、1億5000万以上の画像を含むオーディオ動画のデータセットを構築。このデータセットは、多言語のスピーチや様々な文化の映像クリップを含み、EMOが多様な表現を捉えられるように設計されました。
アリババはこのプロジェクトを通じて、AI技術が人間の感情を豊かにし、芸術作品に新たな次元を加えることができるというビジョンを掲げており、将来的にはより幅広い応用が期待されています！
まとめ
いかがだったでしょうか？
デモを見る限り、かなり高い精度で動画を生成することができていました。
今後もこのような技術精度は上がることが予想されますので、引き続き動向を追っていきましょう！
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
