大規模言語モデルには致命的な弱点があります。訓練が終わると、新しい知識を学べなくなるのです。会話の中で得た情報も、一定量を超えると消えてしまいます。Googleの研究者たちが発表した「ネステッド・ラーニング」という新しいアプローチは、この問題の解決を目指しています。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
AIが抱える「記憶喪失」の正体
ChatGPTやClaudeといった大規模言語モデルは膨大な知識を持っているように見えますが、訓練が終わった後は新しい知識を獲得したり、既存の知識を更新したりすることができません。
現在のLLMが持つ唯一の適応能力は「文脈内学習」と呼ばれるものです。プロンプトで提供された情報を使ってタスクを実行する能力のことで、たとえば会話の中で新しい情報を教えても、それはあくまで一時的なものです。会話が続いてコンテキストウィンドウ(モデルが一度に処理できる情報量の上限)を超えると、その情報は完全に失われます。Googleの研究者たちは、このLLMの状態を「新しい長期記憶を形成できない人」に例えています。モデルの知識は事前訓練で学んだ内容(遠い過去)と、現在のコンテキストウィンドウ内にある内容(直近の現在)に限定され、その間をつなぐ記憶が存在しないのです。
なぜこんなことが起きるのでしょうか。原因は、Transformerベースのモデルに「オンライン統合」の仕組みがないことにあります。コンテキストウィンドウ内の情報は、モデルの長期パラメータ(フィードフォワード層に保存されている重み)を更新しません。つまり対話から得た知識やスキルは恒久的に保存されず、コンテキストウィンドウがリセットされれば消えてしまうのです。
深層学習の登場により、機械学習に必要だった緻密な設計や専門知識は不要になりました。膨大なデータを与えれば、モデルが自ら学習できるようになったのです。しかし新しいデータへの汎化や継続的な学習といった課題は残り、これらを克服する取り組みがTransformerの開発につながりました。Transformerはタスクごとに個別のモデルを作る必要をなくしましたが、訓練後に知識を更新できないという根本的な制約は解決されていません。この問題に、どう取り組めばいいのでしょうか。
脳に学ぶ「入れ子状」学習とHopeモデル
Googleの研究者たちが提案したネステッド・ラーニングは、人間の脳からヒントを得ています。脳は異なる抽象度と時間スケールで情報を処理し、目の前の会話に即座に反応しながら、同時により長期的な記憶も形成しているのです。
従来の考え方では、モデルのアーキテクチャと最適化アルゴリズムを別々の要素として扱ってきました。ネステッド・ラーニングは発想を変えます。単一のモデルを、複数の学習問題が入れ子状に組み込まれ、異なる速度で同時に最適化されるシステムとして捉えるのです。このアプローチでは、訓練プロセスを「連想記憶」の開発と見なします。モデルはデータポイントがどれだけ「意外」だったかを測定し、それを記憶として蓄積していきます。各コンポーネントに更新頻度を定義することで、これらの最適化問題を異なる「レベル」に順序付けできます。
研究者たちはこの理論を実装したモデルとしてHopeを開発しました。HopeはGoogleが2025年1月に発表したTitansの改良版です。Titansは2段階の更新速度を持っていましたが、Hopeはさらに進化しています。
Hopeの核心は「コンティニュアム・メモリ・システム(CMS)」です。一連のメモリバンクで構成され、それぞれが異なる頻度で更新されます。速く更新されるバンクは即座の情報を処理し、遅いバンクはより抽象的な知識を統合します。モデルは自己参照ループで独自のメモリを最適化でき、理論上、無限の学習レベルを持つことができます。
実験結果は印象的でした。Hopeは標準的なTransformerや他のモデルと比較して、より低いパープレキシティ(次の単語の予測精度を示す指標で、値が低いほど優れている)とより高い精度を示しました。特に「Needle-In-Haystack」タスク(大量のテキスト内に隠された特定の情報を見つけ出すタスク)で優れた性能を発揮し、CMSが長い情報シーケンスをより効率的に処理できることを示しています。
似たアプローチは他にも存在します。Sapient IntelligenceのHierarchical Reasoning Model(HRM)やSamsungのTiny Reasoning Model(TRM)も、階層的な構造で学習効率を高める試みです。
ただし、実用化には課題があります。現在のAIインフラは従来のTransformer向けに最適化されているため、ネステッド・ラーニングを大規模に展開するには根本的な変更が必要になる可能性があります。それでも研究者たちは、もしこのアプローチが広く支持を得られれば、継続的に学習できるより効率的なLLMの実現につながると述べています。環境やデータ、ユーザーのニーズが絶えず変化する実世界のアプリケーションでは、この能力が極めて重要になるでしょう。
まとめ
いかがだったでしょうか？
Googleの研究者たちが開発したネステッド・ラーニングとHopeモデルは、大規模言語モデルが長年抱えてきた記憶と学習の問題に対する一つの答えを示しています。現在のLLMは訓練後に新しいことを学べませんが、異なる速度で動く複数のメモリシステムを持つことで、この制約を乗り越える可能性が見えてきました。実用化にはインフラの大きな変更が必要になるかもしれませんが、継続的に学習し続けるAIの実現に向けた重要な一歩と言えるでしょう。
参照：Google’s ‘Nested Learning’ paradigm could solve AI’s memory and continual learning problem
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
