Episode Details

📝 本期播客简介

本期我们克隆了：知名科技播客《No Priors》的节目《Why Traditional Benchmarks Fail Modern AI Models with OpenAI Research Scientist Noam Brown》

原内容更新时间：2026-06-26

本期嘉宾是 OpenAI 研究科学家 Noam Brown，主持人是硅谷知名投资人、Conviction 创始人 Sarah Guo。Noam 是 AI 推理领域的先驱，也是推动“测试时计算扩展”这一概念进入主流视野的关键人物。三年前他第一次上节目时，很多人还没意识到让模型“多想想”意味着什么；三年后，推理时扩展已经成为行业最核心的竞争维度之一，但评估体系却远远没有跟上。

这期节目围绕 Noam 刚发表的一篇引发广泛共鸣的文章展开，核心论点直指行业痛点：传统的静态基准测试表格已经彻底失灵。当模型的能力本质上是你投入多少算力预算的函数时，用单一数字去比较模型就变得毫无意义。Noam 用 OpenAI 内部模型推翻 Erdős 单位距离猜想的案例说明，当前这代模型的能力上限远未被充分探索——如果你愿意花 10 万美元的推理预算，可能早在几个月前就能做出突破性成果。

如果你关心 AI 评估体系的未来、测试时计算的真实潜力、递归自我改进的进展节奏，以及前沿实验室之间的竞争格局，这期对谈会提供非常一手、非常诚实的内部视角。

👨‍⚕️ 本期嘉宾

Noam Brown，OpenAI 研究科学家，AI 推理与测试时计算扩展领域的先驱人物。他在加入 OpenAI 之前，曾在 Meta AI（原 Facebook AI Research）领导 Libratus 和 Pluribus 等扑克 AI 项目，后者是首个在六人无限注德州扑克中击败人类顶级玩家的 AI。Noam 长期关注如何让模型在推理阶段“思考更久”以获得更好的结果，这一理念如今已成为前沿模型能力提升的核心路径之一。

⏱️ 时间戳

开场与节目背景

00:00 欢迎收听跨国串门计划

00:37 本期克隆节目介绍：《No Priors》与 Noam Brown 对谈

00:55 Noam 关于测试时计算的核心观点预览

02:27 Sarah Guo 开场介绍 Noam Brown

基准测试为什么失灵了

03:12 Noam 写文章的动机：5.5 发布后的基准测试争议

03:44 传统基准测试表格的问题：只给单一数字

04:14 5.5 在基准测试上表现不佳的真正原因

04:46 为什么不让模型思考更久？平台期太遥远

05:09 GPT-3 时代 vs 现在：模型可以思考数周

05:50 正确的评估方式：按预算或绘制性能曲线

安全评估的盲区

06:32 网络安全评估：1 亿 token 预算下性能仍在提升

07:01 研究方向：用低预算预测高预算下的性能

08:16 刷榜问题：组合模型很容易做出好看的成绩

09:04 基准测试总面临被针对性优化的风险

09:24 应对办法：保留不公开的私有测试集

用扑克求解器测试模型推理能力

09:48 Noam 的个人评估方式：做扑克机器人

10:24 早期模型到 5.2 的演进：河牌求解器

11:01 5.2 的缺点：爱糊弄人

11:20 模型糊弄人的具体案例：92 美元 vs 100 美元

11:47 5.5 的飞跃：基本可以零样本完成

11:58 预测：六个月内模型可能完成整个博士论文

安全评估中的“房间里的大象”

12:21 安全评估与测试时计算的关系

12:40 责任缩放政策与准备框架的背景

13:11 这些框架建立时测试时计算还不是大事

13:33 核心问题：模型能力是你投入预算的函数

13:55 现有政策没有真正解决预算评估问题

14:13 正视这个被假装不存在的问题

模型发布周期与能力上限的探索

15:09 模型越来越强，能运作的时间跨度越来越长

16:11 发布周期两三个月，没人真正知道能力上限

16:52 slash goal 发布后人们才意识到长期任务的重要性

17:07 实验室在发布前充分评估模型非常困难

推翻 Erdős 单位距离猜想的故事

17:35 OpenAI 内部模型推翻 Erdős 单位距离猜想

18:10 在很低预算下模型就找到了反证

18:32 用 5.5 加通用脚手架也能得出反证

19:01 成本估算：1,000 到 100,000 美元

19:09 本来有人可以更早用通用模型做到

等待下一个模型 vs 充分探索当前模型

19:32 值不值得在当前模型上做大量实验

19:41 每个发布周期成本下降 10 到 100 倍

19:52 “等下一个模型发布就行”的梗

20:18 OpenAI 刻意不去遍历所有数学开放问题

20:42 重点应该放在做出更强的模型

递归自我改进与快速起飞

21:18 研究方向与资源分配的变化

21:30 澄清：给极高推理预算不等于全面超级智能

21:49 有些基准测试给再多预算也不会进步

22:51 研究品味目前还不太好

23:28 模型能优化算法但想不出更好的算法

24:11 每次新版本研究品味都会变好一些

递归自我改进的节奏

24:32 模型加速了一些事情，另一些没有

24:44 被没加速的事情卡住

24:52 渐进起飞而非一夜之间的智能爆炸<