大規模言語モデル（LLM）の登場により、ソフトウェア開発の世界は大きく変化しました。しかし、OpenAIの最新の研究で見えてきたのは、誰もが想像していなかったAIの真の姿です。
研究結果から見えてきた真実について、そしてそれが私たちの働き方にもたらす変化について、共に見ていきましょう。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
100万ドルの挑戦：AIは稼げるのか
OpenAIは総額100万ドル相当のフリーランス案件を使って、AIの実力を検証しました。検証の対象となったのは、フリーランスプラットフォームUpworkから集められた1,488件の実案件です。初心者からベテランまで、現場のエンジニアが日々取り組んでいる現実のタスクに、OpenAIが開発したGPT-4oとo1、そしてAnthropicのClaude-3.5 Sonnetという3つのAIモデルが挑戦したのです。
結果は、多くの予想を覆すものでした。最高の成績を収めたClaude-3.5 Sonnetでさえ、獲得できた報酬は208,050ドルにとどまります。全体の約21%、個人の貢献タスクでは26.2%の解決率です。さらに研究チームの報告によると、提案された解決策の大半には信頼性の面で課題が見つかりました。
検証は100人以上のプロのソフトウェアエンジニアと共に、厳密な環境で行われました。Dockerコンテナという独立した環境を使用し、AIがインターネットやGitHubから答えを探せないよう制限をかけています。課題は15分で終わる簡単なバグ修正から、1週間を要する本格的な機能開発まで。現場で発生する様々な難易度の仕事が含まれていました。ここから見えてきたのは、AIの持つ可能性と、同時に明らかになった限界です。その実態は、次のセクションでさらに明確になっていきます。
人間にしかできない「根本的な理解」
AIはコードを探し、問題の場所を特定する能力で際立っています。リポジトリ（プログラムのコード管理庫）全体をキーワード検索し、関連するファイルや機能を見つけ出す速度は、人間のエンジニアをはるかに上回ることが研究で明らかになりました。しかし、この優れた検索能力は、必ずしも正確な問題解決には結びついていません。研究結果は、AIの決定的な弱点を示しています。複数のファイルやコンポーネントが絡み合う問題を理解し、対処する能力が、現状のAIには欠けているのです。
注目すべきは、AIが管理的な判断で予想以上の成果を見せた点です。複数の解決提案から最適なものを選び出す場面では、より良好な結果を残しています。これは、AIが個々の提案の技術的な妥当性を分析する能力を持っていることを示唆しています。しかし、バグ修正における人間とAIの違いは明確です。人間のエンジニアはバグを見つけると、その発生理由を探ります。コードの履歴を調べ、関連する機能の動作を確認し、時には同僚から過去の経緯を聞き出します。これに対しAIは、問題の場所は特定できても、その問題がなぜ存在するのか、他にどんな影響を及ぼす可能性があるのかといった、より深い理解には至れないことが分かりました。研究結果は、テクノロジーが進歩しても、プログラミングにおける「理解」と「洞察」は、依然として人間にしか持ち得ない能力であることを示しているのです！
まとめ
いかがだったでしょうか？
OpenAIの研究は、AIと人間のエンジニアの強みと弱みをはっきりと示しています。AIは問題箇所を素早く見つけ出せますが、プログラムの本質的な理解においては、まだ人間のエンジニアに及びません。現時点では、AIはエンジニアの「代替」というより、優れた「アシスタント」としての役割が最も効果的だと言えるでしょう。
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
