rinna株式会社が、Google社の大規模言語モデルGemma 2 2Bを基に日本語能力を強化した「Gemma 2 Baku 2B」シリーズを開発しました。このモデルは、日本語と英語の大規模データで学習され、より高度な日本語処理能力を持つことが特徴です。
本記事では、「Gemma 2 Baku 2B」について紹介していきますので、ぜひ最後までご覧ください！
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
rinnaによる「Gemma 2 Baku 2B」シリーズの開発背景
rinna株式会社は、「人とAIの共創世界」をビジョンに掲げ、生成系AIモデルの研究開発を行うAI企業です。日本のAI技術発展に貢献するため、2021年4月からHugging Faceを通じて様々な基盤モデルを公開し、これらのモデルは累計690万ダウンロード、1100件を超えるLikesを記録するなど、多くの研究者や開発者に利用されています。
「Gemma 2 Baku 2B」シリーズは、Google社が公開した大規模言語モデル（LLM）Gemma 2 2Bを基に開発されました。Gemma 2 2Bは26億パラメータという比較的小規模なモデルでありながら、高いテキスト生成能力を持ち、特定の目的に合わせた追加学習が容易で、推論時のコストパフォーマンスも優れています。rinnaはこのGemma 2 2Bの特性を活かしつつ、日本語能力をさらに強化するため、800億トークンの日本語と英語の学習データを用いて継続事前学習を行い、「Gemma 2 Baku 2B」を開発しました。さらに、指示学習を施すことで、「Gemma 2 Baku 2B Instruct」モデルも作成しています。なお、「Baku」というモデル名は日本の妖怪「獏」に由来しており、これらのモデルはGemma Terms of Use（GoogleがリリースしたオープンソースLLMであるGemmaの利用規約）を継承し、このライセンスに従って利用可能です。
以前の記事でも紹介ましたが、rinna社はMetaのオープンソースである「Llama3」を活用し「Llama 3 Youko」モデルを展開しています。rinna社はモデルに日本語の妖怪の名前をつけているので、親しみやすさを感じられますね！
「Llama 3 Youko」についての記事はこちら：
日本語処理に特化！rinna社の「Llama 3 Youko」モデルの性能はいかに
「Gemma 2 Baku 2B」シリーズの特徴と性能
「Gemma 2 Baku 2B」シリーズは、Gemma 2 2Bの特性を基盤としつつ日本語能力を大幅に強化したモデルで、主に「Gemma 2 Baku 2B」と「Gemma 2 Baku 2B Instruct」の2つのモデルから構成されています。これらのモデルの性能評価には、日本語LLMベンチマークである「Japanese MT-Bench」と「Japanese LM Evaluation Harness」が使用されました。ベンチマーク結果から、Gemma 2 Baku 2Bシリーズは、オリジナルのGemma 2 2Bシリーズと比較して日本語の処理能力が大きく向上していることが確認されています。特筆すべきは、対話性能を評価するJapanese MT-Benchにおいて、26億パラメータのGemma 2 Baku 2B Instructが、80億パラメータのLlama 3 Youko 8B Instructをアベレージで上回るスコアを達成したことです。
Gemma 2 Baku 2Bシリーズの主な特徴として、高い日本語処理能力と効率的なリソース使用が挙げられます。また、パラメータ数が少ないことから、特定の用途に合わせたカスタマイズも容易になると考えられます。これらの特徴により、Gemma 2 Baku 2Bシリーズは研究用途だけでなく、実用的なアプリケーションの開発にも適していると予想されます。日本語処理能力の向上と効率的なリソース使用を両立させたこのモデルは、幅広い分野でのAI活用の可能性を広げることが期待されています。
日本語能力は高い上にパラメータ数が少ないとなると、企業のデータを学習させても重くなる心配や、過学習でエラーを起こす可能性も少なくなります。今後「Gemma 2 Baku 2B」シリーズは日本のビジネスを発展させていくでしょう！
まとめ
いかがだったでしょうか？
rinna株式会社が開発した「Gemma 2 Baku 2B」シリーズは、日本語処理能力の強化と効率的なリソース使用を実現したモデルです。Gemma 2 2Bの特性を活かしつつ、日本語と英語の大規模データで学習することで高い日本語能力を獲得しました。このモデルシリーズは研究開発だけでなく実用的なアプリケーション開発にも適しており、日本のAI技術の発展に貢献することが期待されています。今後もrinna社の取り組みには注目していきましょう！
参考記事：rinna株式会社プレスリリース
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
