Meta AIは、スマートフォンなどのモバイルデバイスで直接動作する言語モデル「MobileLLM」を公開しました。研究目的であれば誰でも利用できる形で提供されています。
本記事では、小さな設計で実現する高性能、実用的な性能と制限付きの提供について紹介していきますので、ぜひ最後までご覧ください！
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
小さな設計で実現する高性能
MobileLLMの特徴は、従来のAIモデルとは異なる設計アプローチにあります。一般的なAIモデルは幅広い処理を同時に行うため多くのパラメータ（AIモデルが学習や処理に使用する数値の集合）を必要としますが、MobileLLMは深い層構造を採用することで、少ないパラメータでの処理を実現しています。
このアプローチにより、パラメータ数を1億2,500万から10億に抑えることで、一般的なスマートフォンのメモリ容量である6-12GBの範囲内での動作を可能にしています。その結果、データをクラウドに送信することなく、デバイス内で直接処理できる設計となっています。
MetaのチーフAIサイエンティストであるYann LeCun氏は、この深さを重視した設計について重要な指摘をしています。従来の幅広いモデルと比べ、深い層構造を持つモデルの方が抽象的な概念をより効率的に理解できるとしています。
技術面では、「埋め込み共有技術」と呼ばれる手法を採用しており、似たような処理をまとめることでメモリの使用効率を高めています。さらに「グループクエリアテンション」という手法により、文章の関連性を理解する際の処理を最適化しています。加えて「即時ブロック単位の重み共有」という新しい手法も導入され、これによりデバイス内のメモリ移動を最小限に抑え、処理の待ち時間を削減することに成功しています。
これらの技術的な特徴を踏まえた上で、実際の性能はどの程度のものなのか、そして現時点でどのような形で提供されているのかを見ていきましょう！
実用的な性能と制限付きの提供
性能面において、MobileLLMは既存の同規模モデルと比較して注目すべき結果を示しています。特に「ゼロショットタスク」（事前の学習や調整なしで新しい課題に対応する能力を測定するテスト）では、1億2,500万パラメータ版で2.7%、3億5,000万パラメータ版で4.3%の精度向上が確認されました。また、3億5,000万パラメータ版では、70億のパラメータを持つMeta Llama-2モデルと同等のAPI処理性能を示しており、モバイルデバイスでのAI実装における新たな可能性を示唆しています。このモデルは、AppleがiOS 18で提供開始したオンデバイス/プライベートクラウドハイブリッドAIソリューションの対抗として位置づけられています。ただし現時点では、Creative Commons 4.0非商用ライセンスでの提供となっており、研究目的での利用に限定されています。
開発者や研究者は、AI開発プラットフォーム「Hugging Face」からモデルをダウンロードでき、機械学習ライブラリ「Transformers」との互換性も確保されているため、研究環境での利用がしやすい形で提供されています。
このように、技術的な革新性と実用性を兼ね備えたMobileLLMは、今後のモバイルAI開発における重要な一歩となることが期待されています！
まとめ
いかがだったでしょうか？
MobileLLMは、スマートフォンなどの小型デバイスでも効率的に動作する言語モデルとして設計されています。専門家からは、このような小規模でありながら高性能なモデルの登場により、モバイルデバイスでのAI活用の形が変わる可能性が指摘されています。ただし現時点では研究目的での利用に限定されており、実用化までには更なる検証が必要とされています。
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
