LinkedInが13億ユーザー向けのAI人材検索機能をリリースした。ChatGPTの登場から3年、なぜこれほど時間を要したのか。答えは単純だ。少数のテストユーザーで動くAIと、10億人が同時に使えるAIは、まったく別物だからだ。同社が明かした開発の舞台裏には、企業がAIを実装する際の現実が詰まっている。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
「癌の専門家」を探せ―従来検索とAI検索の決定的な違い
LinkedInの従来の検索システムは、キーワードに頼っていた。たとえば「cancer(がん)の専門家を探したい」と入力すると、システムはプロフィールに「cancer」という単語が含まれる人物だけを表示する。「oncology(腫瘍学)」の専門家は検索結果に現れない。両者は同じ分野を指すにもかかわらず、だ。ユーザーが網羅的に探そうとすれば、「cancer」で一度検索し、次に「oncology」で検索し、さらに「genomics research(ゲノム研究)」でも検索する必要があった。そして、それぞれの結果を手作業でつなぎ合わせなければならない。
新しいAI検索システムは、この問題を根本から解決する。システムの中核にあるLLM(大規模言語モデル)は、言葉の「意味」を理解するからだ。LLMとは、膨大なテキストデータから言葉同士の関係性を学習したAIのことで、「cancer」と入力されたとき、それが「oncology」と概念的に結びついていることを認識し、さらに間接的ではあるが「genomics research」とも関連していると判断できる。その結果、プロフィールに「cancer」という単語が一切登場しなくても、腫瘍学のリーダーや研究者が検索結果に表示される。システムは単語の一致ではなく、意味の関連性で人物を探し出すのだ。
しかし、LinkedInのシステムはさらに賢い設計になっている。関連性だけでなく、「到達可能性」も考慮に入れるからだ。世界最高レベルの腫瘍学者が検索結果の最上位に表示されたとする。だが、その人物があなたの三次のつながり(友人の友人の友人)だとしたら、実際にコンタクトを取るのは難しい。一方で、あなたの直接のつながり(一次のつながり)に「かなり関連性が高い」専門家がいれば、その人物の方が実用的な価値は高く、その人を通じて、さらに専門性の高い人物への道が開けるかもしれない。
LinkedInのAI検索は、この両方のバランスを取る。最も優れた専門家を見つけるだけでなく、あなたが実際につながれる専門家を優先的に表示するのだ。これは検索システムの目的が「情報を見つけること」から「人とつながること」へ進化したことを意味している。ただし、すべてのクエリがAI検索に向いているわけではない。システムには「インテリジェントクエリルーティング」という仕組みがあり、クエリの性質を判断して最適な検索方法を選ぶ。
では、このような判断を13億人規模で瞬時に行えるAIは、どのように生まれたのだろうか。
70億から2億へ―巨大AIモデルを高速化する「蒸留」という技術
LinkedInの開発チームは、最初の6〜9ヶ月間、深刻な壁にぶつかっていた。関連性の高い検索結果を返すAIモデルと、ユーザーの実際の行動(求人への応募、プロフィールへのつながり申請など)を予測するモデルを、ひとつに統合できなかったのだ。
突破口は、問題を分割することだった。チームはまず、数百から数千の実際の検索クエリとプロフィールのペアを「ゴールデンデータセット」として用意し、これを詳細な20〜30ページの「製品ポリシー」文書に照らして綿密に評価した。次に、このゴールデンセットを使って大規模な基盤モデルに大量の合成トレーニングデータを生成させ、70億のパラメータを持つ「製品ポリシー」モデルを訓練した。パラメータとは、AIが判断を下すための「調整つまみ」のようなもので、数が多いほど複雑な判断ができる仕組みだ。この70億パラメータのモデルは検索結果の関連性を極めて正確に判定できたが、動作が遅すぎて実際のサービスには使えなかった。
そこで登場したのが「蒸留」という技術だ。蒸留とは、大きな教師モデルの知識を、小さな生徒モデルに移し替える手法を指す。LinkedInは70億パラメータの教師モデルを17億パラメータのモデルに蒸留し、関連性の判定に特化させた。さらに、ユーザーの行動を予測する別の教師モデルも用意し、これらの教師モデルが生成する確率スコアを、最終的な生徒モデルが学習する仕組みを作り上げた。
完成したシステムは2段階で動作する。まず、80億パラメータの大きなモデルが13億人のユーザーから広く候補を引き出す「検索」を担当し、次に、高度に蒸留された小さなモデルが候補の中から最適な順位をつける「ランキング」を行う。役割を分けることで、それぞれを最適化できるのだ。
求人検索では6億パラメータの生徒モデルで実用レベルに到達したが、人材検索はさらに困難だった。対象が数千万件の求人ではなく、13億人のユーザーだからだ。
チームは生徒モデルを4億4000万パラメータから2億2000万パラメータへ圧縮した。関連性の精度は1%未満しか落ちなかった。さらに、強化学習という手法(AIに試行錯誤させながら最適な行動を学ばせる訓練方法)で訓練された専用の要約AIを開発し、モデルに入力する情報量を元の20分の1に削減した。
2つの最適化を組み合わせた結果、システムの処理能力は10倍に跳ね上がった。だが、技術的な突破口だけでは、この規模のサービスは実現しない。組織としての戦略が必要だった。
一度にすべてをやろうとするな―LinkedInの「クックブック」戦略
LinkedInは当初、全製品に対応する統一AIシステムの構築を目指していた。求人検索、人材検索、コンテンツ推薦など、すべてを一度に解決しようとした結果は停滞だった。エンジニアリング担当副社長のZhang氏は、この「広大な野心」が進捗を妨げたと振り返っている。
そこで方針を転換した。まず、ひとつの領域で勝つ。LinkedInが選んだのは求人検索だった。
求人検索のAI化は成功を収めた。プロダクトエンジニアリング担当副社長のBerger氏によれば、4年制大学の学位を持たない求職者の採用率が10%向上した。これは単なる技術的成果ではなく、実際のビジネス価値を生み出した証拠だ。LinkedInはこの成功を「クックブック」として体系化した。クックブックとは、再現可能な手順書のことで、どのようなデータを用意し、どのようにモデルを訓練し、どのように最適化するか、そのすべてを記録したものだ。人材検索への移行では、求人検索の成功者であるプロダクトリードのRajiv氏とエンジニアリングリードのZhang氏を配置転換し、クックブックを直接移植させた。ゼロから始めるのではなく、実証済みの方法論を持ち込んだのだ。
ただし、人材検索には新たな技術的障壁があった。求人検索では数千万件のデータを扱えば済んだが、人材検索では13億人分のデータを処理しなければならない。Berger氏の言葉を借りれば「別の獣」だ。LinkedInの既存システムは、CPU(中央演算処理装置)を使ってデータを検索していたが、13億人規模では処理が追いつかない。チームはインフラ全体をGPU(画像処理装置)ベースに移行した。GPUは本来、画像や動画の処理に使われるが、大量のデータを並列処理する能力に優れており、この基盤の転換により、人材検索は「キビキビした」体験を提供できる速度で動作するようになった。さらに、システムには「インテリジェントクエリルーティング」という仕組みが組み込まれている。これ自体もLLMで動作し、ユーザーのクエリが「trust expert(信頼の専門家)」のような自然言語なのか、それとも従来の語彙検索で十分なのかを判断して振り分ける。
Berger氏は、LinkedInのAI戦略について明確な哲学を持っている。「エージェント」ではなく「ツール」を完璧にすることが重要だというのだ。エージェントとは、ユーザーの指示を受けて自律的に複数のタスクをこなすAIを指すが、Berger氏は「世界最高の推論モデルを持っていても、使うツールが貧弱なら価値を届けられない」と語る。
LinkedInは、いつか自社の検索システムを使うエージェントを提供する可能性を示唆しているが、それは検索システムそのものを磨き上げた後の話だ。地道な最適化の積み重ねこそが、実用的なAIへの道なのだ。
まとめ
いかがだったでしょうか?
LinkedInの事例は、AIを実際のサービスに組み込む難しさを浮き彫りにしています。デモで動くAIと、13億人が使えるAIの間には、技術的にも組織的にも大きな溝があります。同社が示した教訓は明確です。一度にすべてを解決しようとせず、ひとつの領域で成功し、その方法論を体系化する。そして地道な最適化を積み重ねる。派手なデモではなく、こうした着実な取り組みこそが、実用的なAIサービスを生み出すのです。
参考資料：Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
