Episode Details
Back to Episodes
一個不會解題的 AI 拿了 SWE-bench 滿分，跑分還能信嗎
Published 5 months, 4 weeks ago
Description
10 行 Python 騙過 SWE-bench 500 題，送空 JSON 拿下另一個 benchmark 滿分。Berkeley 團隊的研究揭示 AI 跑分的 7 種致命漏洞模式，以及你下次看到跑分時該問什麼問題。
⭐ 文章深度讀：整理了 7 種漏洞模式與你該問的具體問題
→ https://heymaibao.com/ai-benchmark-trust-crisis-berkeley/
📝 懶人包
∙ Berkeley 團隊的 exploit agent 在 SWE-bench、WebArena、Terminal-Bench 等 8 個主流 AI benchmark 上取得接近滿分，但沒有真正解決任何一個任務。
∙ 這些漏洞不是個案，8 個 benchmark 共享 7 種相同的結構性缺陷，整個 AI 評測生態系存在系統性的信任問題。
∙ 團隊提出了 Agent-Eval Checklist，要求 benchmark 在發佈前通過對抗性測試，並正在開發 BenchJack 工具來自動化這個檢驗流程。
📚 參考資料
How We Broke Top AI Agent Benchmarks: And What Comes Next (Hao Wang, Qiuyang Mang, Alvin Cheung, Koushik Sen, Dawn Song, 2026)
→ https://rdi.berkeley.edu/blog/trustworthy-benchmarks-cont/