Episode Details
Back to Episodes#568. Transformer辩论：如何理解下一代智能之争
Description
📝 本期播客简介
这是一场以“拳击赛”形式呈现的 AI 架构思想对决：Transformer 还会继续统治下一代 AI，还是我们已经站在 postTransformer 时代的门口？
辩论的一边，是 Transformer 共同发明者 Lukasz Kaiser，他认为 Transformer 虽然简单得近乎疯狂，却已经证明自己能够工作、能够扩展，并且可以被理解为一种强大的可微分记忆系统。另一边，Adrian Kosowski 和 Llion Jones 则认为，Transformer 只是智能的一种实现形式，而不是智能的终极答案。人脑的数据效率、连续学习、非语言推理和动态状态，都在提醒我们：一定还存在更好的东西。Mathias Lechner 则代表更工程化的中间路线：未来可能不是 Transformer 或 postTransformer 二选一，而是根据硬件、场景和能力需求，把所有可用 building block 组合起来。
这期节目尤其适合想理解 AI 底层趋势的人：为什么 Transformer 如此强大？为什么 scaling laws 仍然重要？为什么“用语言思考”可能不是最高效的 reasoning？新架构为什么总会被硬件拖住？benchmark 到底能不能衡量真实智能？如果你关心 AI 下一轮技术红利、创业机会、算力焦虑和 AGI 路线之争，这是一场非常值得听完的高密度讨论。
👨⚕️ 本期嘉宾
Lukasz Kaiser，Transformer 共同发明者之一，曾参与创建 ChatGPT o1，是现代大语言模型架构演进中的关键人物。
Adrian Kosowski，Pathway 的 CSO，BDH 架构的发明者之一，主张从动态系统、latent reasoning 和持续学习角度探索 postTransformer 架构。
Mathias Lechner，Liquid AI 研究者，专注于构建新一代 foundation model，强调 Transformer 与 postTransformer building blocks 的混合使用，以及模型在不同硬件和部署场景中的实际表现。
Llion Jones，Transformer 共同发明者之一，虽然参与了 Transformer 的诞生，但在本场辩论中站在 postTransformer 阵营，认为 AI 需要跳出当前架构的局部最优。
⏱️ 时间戳
00:00 开场 & 播客简介
拳击赛开局：谁代表 AI 的下一个时代
01:43 现场规则：用拳击赛形式辩论 Transformer vs postTransformer
04:02 Lukasz 开场：Transformer 是简单、漂亮、而且真正能工作的 memory
06:40 Adrian 开场：智能还没有迎来自己的 PageRank 时刻
09:54 Mathias 开场：未来不是二选一，而是 Transformer 加 postTransformer
12:22 Llion 开场：Transformer 很强，但它可能只是 brute force 的局部最优
第一轮交锋：Transformer 到底是不是终局
16:42 Lukasz 反驳：Transformer 仍是当前机器学习里最强的可扩展答案
19:00 Adrian 反击：reasoning 和 learning 不一样，语言思考不是唯一解
21:38 Mathias：Transformer 和 RNN 的边界会越来越模糊
23:33 Llion：真正突破不是重排组件，而是重新质疑神经网络假设
智能是什么：语言、压缩与人脑
26:04 智能定义之争：是可观察行为，还是更深层的信息处理过程
28:30 Transformer 是否把工程便利误认为科学真理
29:08 智能即压缩：预测互联网下一个词为什么如此有效
30:02 Language 与 reasoning：语言承载智能，但也限制思考方式
31:30 发现新知识时，非语言推理是否更高效
31:52 人脑与儿童启发：为什么小孩不用长链推理也能快速泛化
Scaling 之争：算力还会继续赢吗
33:06 Bitter Lesson：为什么十倍算力和十倍数据常常打败巧妙设计
33:34 不同架构都有 scaling law，但硬件适配决定谁能赢
34:34 Lukasz：如果有比 Transformer 更好的 scaling curve，请拿出来
35:56 Adrian：数据、模型、算力不一定必须一起 scale
现实世界部署与 benchmark
36:58 非文本模态：蛋白质、基因序列和生物医学信号中的架构差异
38:05 Benchmark 会不会误导我们
39:11 Perplexity：为什么“预测下一个 token”仍可能是最硬的指标
40:57 最后陈述：比拼的关键不是单次成绩，而是 scaling curve 的斜率
最终立场：Transformer 现在赢，但未来未定
41:53 Adrian：下一次突破可能来自更高效、更紧凑的 reasoning
43:08 Mathias：两边都押注，探索所有可能性
43:40 Llion：今天没有任何理由能让我放弃“还有更好东西”的信念
观众提问：硬件会不会锁死创新
44:31 硬件彩票：现有 GPU/TPU 是否让大家困在 Transformer 范式
45:18 Llion：postTransformer 第一版不必马上打败 SOTA
46:12 Lukasz：Transformer 当年也不适配硬件，真正强的架构会推动硬件改变
48:38 慢 50 倍也不要怕：只要 scaling curve 更好，就值得探索
学习、记忆与动态权重
48:59 智能是否首先是学习能力
50:10 In-context learning：把上下文学习延长到无限时间会怎样
51:01 Continual learning：给静态权重打补丁，还是从头设计动态系统
51:41 Transformer 的 activation 是否已经在做类似 gradient des