AIの急激な進化により、言語理解やテキスト生成において大規模言語モデル（LLM）が注目されています。これらのモデルは、自然言語処理（NLP）の領域で多様な応用が可能で、ビジネスからエンターテイメントまで幅広い用途で活用されています。
しかし、現行のモデルでは、処理速度やメモリ効率、長文への対応能力などに課題がありました。そこで新たに注目を集めているのが、「Retentive Network（RetNet）」を基盤としたLLMです！
この技術は、従来の「Transformer」ベースのモデルを超える性能を実現することが期待されています。
本記事では、PKSHA Technologyが開発したLLMに焦点を当て、RetNet技術の概要や技術特徴など詳しく解説していきますので、AIとLLMの最新動向にご興味のある方は、ぜひ最後までご覧ください！
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
RetNetとは
まず、RetNetとは何かわからない方に簡単に説明すると、RetNetは、Microsoft Researchによって開発された最新技術のことです！
この技術は、LLMにおけるデータ処理の効率性を根本から見直し、改善することを目的としています。RetNetの特徴は、長文入力時の推論速度の向上と、メモリ使用量の効率化で、従来のモデルでは難しかった長い文章や複雑なデータセットの処理が、より高速かつ低コストで可能になりました。現在のAI技術では、「Transformer」モデルが使用されることが多いのですが、RetNetは次世代のアーキテクチャとして注目されています。
PKSHAの取り組み
RetNetとは何か理解できたところで、本題です！
この度、PKSHA Technologyは、RetNet技術を活用して日英大規模言語モデルの開発に成功しました！
このモデルは、70億のパラメータを持っており、従来のTransformerベースのモデルに比べて、3.3倍の速度で高精度な回答を生成することができます。今後は、コンタクトセンターや社内ヘルプデスクでの生産性向上に大きく貢献することが期待されています。
このようにPKSHAは、顧客のニーズに即したカスタマイズされた回答を提供することで、顧客満足度の向上を図るとともに、社内での情報共有や問い合わせ対応の効率化を実現しています。
技術的特徴とメリット
PKSHA Technologyが開発したRetNetを活用したLLMは、技術的な特徴とメリットは大きく３つあると思いました。先ほどのセクションと重複する箇所がありますが、再度、以下にまとめます。
１ 速度の向上
まず、RetNetの導入により、LLMの推論速度が大幅に向上しました。
特に長文を扱う際の処理速度は、従来のモデルと比較して約3.3倍になったことによって、リアルタイムでの高速応答が可能になりました。
２ メモリ効率の改善
次にRetNetはメモリ使用量を大幅に削減します。
特にGPUリソースが限られている環境において、コスト削減に繋がり、少ないリソースでより多くの処理を行うことができるため、企業は運用コストを抑えつつ、高度なAI機能を利用できるようになります。
３ ビジネスへの応用
これらの技術的進歩は、特にコンタクトセンターや社内ヘルプデスクなど、迅速な情報処理が求められるビジネスシーンでの応用が期待されます。高速で正確な情報提供は、顧客対応の質の向上、問い合わせ対応時間の短縮、オペレーターの負担軽減など、企業にとって多岐にわたるメリットをもたらします。
このように企業側がうまく活用することで、顧客サービスの質の向上を実現できるでしょう！
実用化への道のり
PKSHA TechnologyによるRetNet技術を基にしたLLMの開発は、日本マイクロソフトの技術支援の下で行われました。
この取り組みは、Microsoft Researchが開発した最新のRetNetと、深層学習フレームワーク「DeepSpeed」を中心に展開され、「Microsoft Azure」上のGPUサーバー群を使用することで、大規模モデルの学習とチューニングが効率的に行えるよう設計されています。
実用化に向けて、PKSHAは現在も、この新しいLLMの性能をさらに向上させるための学習とチューニングを行なっており、このような継続的な改善と応用の拡大を通じて、モデルがビジネスにおけるコミュニケーションと情報処理の質を根本から変えていくことが期待されています。
まとめ
いかがだったでしょうか？
最近では、日本語に特化したLLMも登場していますので、引き続き動向を追っていきましょう！
こちらの記事で日本語LLMを紹介していますので、ご覧下さい：
東大発スタートアップELYZAが日本語LLMを開発！グローバルモデルとの競争で一歩リード
楽天グループによる日本語に特化した大規模言語モデル「Rakuten AI 7B」を公開！
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
