世界のAI開発の多くは英語中心に進められており、他の言語でのAI活用には大きな制限があるなか、AI企業のCohereが新しいモデル「Aya」を発表し、言語の壁を減らす取り組みを始めています。
本記事では、「言語格差」の実態とその課題、Ayaが示す新しい可能性について紹介していきますので、ぜひ最後までご覧ください！
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
「言語格差」の実態とその課題
現在、多くのAIモデルは英語を中心に開発が進められています。これは、世界のビジネスや学術研究、インターネット上のコミュニケーションにおいて英語が主要な言語として使用されており、AIの開発に必要な大量のデータも英語が中心となっているためです。
この状況は、英語以外の言語を使用する地域での大きな課題となっています。例えば、企業が顧客サービスにAIを活用しようとしても、地域の言語で十分な対応ができない場合があり、また、研究者が自国の言語でAIを活用しようとしても、必要なデータや学習用の教師モデル（AIの学習に使用される基準となるモデル）を見つけることが困難です。特に問題となっているのが、AIモデルの学習に使用される教師モデルの質です。英語以外の言語では、性能の高い教師モデルを見つけることが難しく、その結果、生成される内容の質が低下してしまいます。既存の多言語AIモデルの多くは、異なる文化や言語的な特徴を十分に考慮できていないという課題も抱えています。
このような課題に対し、OpenAIやGoogleなどの企業も多言語対応の取り組みを始めており、OpenAIは最近、アラビア語やドイツ語、スワヒリ語、ベンガル語を含む14言語でAIモデルの性能を測定できるデータセットを公開しました。しかし、これらの取り組みはまだ始まったばかりで、多くの言語では依然として高品質なAIサービスを利用することが困難な状況が続いています。
OpenAIの多言語対応に対する取り組みは他の記事でも紹介していますので、併せてご覧ください：
言語の壁を超える！OpenAIが多言語データセットを公開
Ayaが示す新しい可能性
参照：Venture Beat
Cohereが発表した新しいモデル「Aya Expanse」は、23の言語に対応する2つのバージョンで展開されています。1つは80億個のパラメータを持つモデルで、もう1つは320億個のパラメータ（AIモデルの処理能力を示す指標）を持つモデルです。多言語テストにおいて、320億パラメータモデルはGemma 2 27B、Mistral 8x22B、さらには700億パラメータのLlama 3.1よりも優れた性能を示しています。また、80億パラメータモデルもGemma 2 9B、Llama 3.1 8B、Ministral 8Bを上回る結果を出しています。（上記画像）
Ayaの特徴的な点は、データの収集と処理の方法にあります。従来の多言語AIモデルでは、既存の教師モデルを使って人工的なデータを生成し学習に使用していましたが、この方法では意味の通らない文章が生成されてしまうことがありました。そこでAyaでは、この問題を解決するため「データ裁定」と呼ばれる新しい手法を採用することで、より自然な言語処理を実現しています。
また、Ayaの開発では文化的な配慮も重要視されています。多くのAIモデルは欧米中心のデータセットで学習されているため、安全性や倫理的な判断基準も欧米的な価値観に偏りがちでした。Ayaでは、異なる文化や言語的な視点を考慮した学習方法を採用することで、この課題への対応を図っています。
Cohereはこれらのモデルを一般に公開し、世界中の開発者や研究者が利用できる環境を整えています。さらに、モデルの性能を向上させるための「Ayaデータセット」も公開され、他の開発者もこれを活用して独自のモデル開発を行うことができます。
企業向けのサービスとしても、Ayaの技術は活用され始めており、例えば文書の検索や分類を行う「Embed 3」というサービスに画像検索機能が追加されるなど、実用的な機能の開発も進められています。
言語以外に文化的側面も考慮されて学習されているようなので、英語圏以外の方でも利用しやすいかと思われます。我々日本人にも使いやすい機能かもしれませんね！
「Aya Expanse」はHugging Faceで公開されているようなので、気になる方はこちらのリンクからご利用して見てください！
まとめ
いかがだったでしょうか？
AIの世界では長らく英語中心の開発が続いてきましたが、それは多くの言語や文化を持つ世界の現実とは合致していませんでした。Cohereの新しいAyaモデルは、この課題に対する具体的な解決策を示しています。専門家の間では、このような取り組みによって、より多くの人々がAIの利点を活用できる環境が整っていく可能性があると考えられています。
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
