Episode Details

2026年2月23日、AI業界のトップランナーであるOpenAIは公式ブログにおいて、これまでAIのソフトウェア開発能力を測る重要な指標として重宝されてきた「SWE-bench Verified」を用いた自社モデルの評価を終了すると発表しました。SWE-benchは、実際のソフトウェア開発現場で生じた課題をAIがどれだけ解決できるかを測るテストとして、多くのAI企業がこぞって自社の優秀さをアピールするために使ってきた権威あるベンチマークです。その中でも「Verified」版は、問題の質をより厳格に精査した信頼性の高いテストとして知られていました。それをあえて自ら放棄するというOpenAIの決断は、AI開発の現場に大きな波紋を広げています。

OpenAIがこのテストによる評価を終える最大の理由は、AIの進化のスピードがテストの難易度を完全に追い越してしまったことにあります。ここ最近のAIモデルのコーディング能力の向上は凄まじく、特に最新の推論特化型モデルや自律型エージェントにとっては、SWE-benchの問題はもはや簡単すぎて実力差が測れないレベルに到達しつつあります。満点が当たり前のテストになってしまっては、誰が一番優秀なのかを決めることができませんよね。さらに、インターネット上のあらゆる情報を日々学習し続ける最新のAIにとって、すでに公開されているテスト問題の解答そのものを意図せず事前学習してしまう「データ汚染」のリスクを完全に排除することが難しくなっているという、技術的な限界も背景にあります。

海外のAI研究者や開発者コミュニティの反応を見てみますと、このOpenAIの決断はおおむね好意的に、かつ「ついにこの時が来たか」という驚きをもって受け止められています。実際、競合であるAnthropicやGoogleなども、より長時間で複雑なタスクをこなせるかを測る独自の新しい評価手法の構築を急いでいます。これまでAIの賢さは、決められた短いテストで何点を取るかで測られてきましたが、これからのAIは、数時間あるいは数日間にわたって、どれだけ人間の手を借りずに自律的にシステムを作り上げられるかという、より現実に即した能力で評価されるフェーズへと完全に移行しました。私たちが学生時代のペーパーテストを卒業して、社会に出てからの実際の仕事ぶりで評価されるようになるのと少し似ていますね。AIの実力を測る「ものさし」そのものが古くなってしまうほどの圧倒的な進化のスピードに、私たち人間社会がどう適応し、どうAIをマネジメントしていくのか、これからの数年が非常に重要な転換期となりそうです。