Episode Details

📝 本期播客简介

本期我们克隆了：知名科技播客《The MAD Podcast with Matt Turck》Why NVIDIA Is Giving Away AI Models | Bryan Catanzaro

原内容更新时间：2026-07-02

本期嘉宾是 NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro，主持人是风险投资家 Matt Turck。Bryan 是 AI 基础设施领域真正的幕后关键人物，他参与创建了 cuDNN，共同发明了 DLSS，并主导了 Nemotron 开源模型家族。这期节目围绕一个核心矛盾展开：NVIDIA 作为一家芯片公司，为什么要投入巨资构建前沿 AI 模型，然后免费开放给全世界？

对话深入探讨了开源 AI 的现状、中美之间的技术竞赛，以及 Nemotron 模型背后的架构创新。Bryan 详细拆解了混合 Mamba-Transformer 架构、混合专家（MOE）、多 token 预测和多教师蒸馏等硬核技术，并分享了 NVIDIA 内部如何组织数百名研究员高效协作，而不是各自为战写一百篇论文。如果你关心 AI 模型效率、开源生态的未来，以及大型研究机构的运作方式，这期节目会提供非常扎实的一手信息。

👨‍⚕️ 本期嘉宾

Bryan Catanzaro，NVIDIA 应用深度学习研究副总裁。他 2008 年加入 NVIDIA，是早期将 GPU 用于深度学习的先驱之一，曾参与创建 cuDNN（NVIDIA 首个深度学习产品库），共同发明了实时 AI 图形技术 DLSS，并主导了 Megatron 项目——帮助整个行业搞清楚了如何训练超大规模语言模型。他曾在百度硅谷 AI 实验室与吴恩达、Dario Amodei 共事，目前领导 Nemotron 开源基础模型家族。

⏱️ 时间戳

开场与开源 AI 现状

00:00 本期克隆节目介绍

01:45 主持人 Matt Turck 开场，介绍嘉宾 Bryan Catanzaro

02:46 开源 AI 势头正猛，Nemotron 3 Ultra 刚发布

03:10 闭源与开源之间的差距现在有多大？

04:20 整个 AI 社区都在飞速前进，差距不是最重要的

04:48 推动开源 AI 持续进步的动力是什么？

05:43 开源模型的进步是否依赖蒸馏闭源模型？

07:18 如何看待中国 AI 社区的贡献与创新？

09:12 客户使用开源模型最根本的优势：定制化与数据安全

Bryan 的个人经历与 NVIDIA 的 AI 之路

10:42 Bryan 的职业生涯起点：2008 年加入 NVIDIA

11:03 早期用 GPU 做 AI 被学术界视为异类

12:05 从 Copperhead 到 cuDNN 的诞生

12:39 加入百度硅谷 AI 实验室，与吴恩达、Dario Amodei 共事

13:05 回忆 Dario Amodei：信念的力量与对时机的精准把握

14:40 2016 年重返 NVIDIA，黄仁勋亲自打电话邀请

15:30 第一个项目 DLSS：用 AI 生成游戏画面中 96% 的像素

16:27 2017 年启动 Megatron 项目，押注 Transformer

Nemotron 的使命与架构创新

18:00 NVIDIA 为什么要构建自己的前沿模型家族？

18:16 Nemotron 的第一个任务：理解如何构建未来的系统

19:08 Nemotron 的第二个任务：支持整个 AI 生态

19:58 摩尔定律已死，加速计算比以往更有价值

21:26 Nemotron 项目的发展历程与关键节点

24:41 Nemotron Coalition 联盟：在模型构建之前就与合作伙伴协作

26:51 Nemotron 家族：Nano、Super、Ultra 的定位与用例

27:43 Nemotron 的核心目标：打造最强的 Agent 推理模型

28:03 Nemotron 的效率哲学：用 4 位精度进行预训练

28:42 4 位与 16 位精度的区别，以及为什么效率决定智能上限

深入技术架构

31:23 混合 Mamba-Transformer 架构：状态空间模型与注意力机制的结合

33:27 混合专家（MOE）架构解析：让模型学会“按需查阅”

35:07 MOE 对硬件设计的影响：NVL72 的诞生逻辑

36:18 隐式 MOE：通过降维投影节省通信带宽

37:04 MOE 是否已成为前沿 AI 的默认架构？

37:38 100 万 token 长上下文窗口的意义

38:35 上下文压缩与 Agent 工作流

39:09 多 token 预测：如何在不损失准确率的情况下实现 4 倍加速

41:44 多教师蒸馏：用多个专家模型联合训练一个全能学生模型

大型研究机构的组织与协作

43:41 多教师蒸馏既是技术问题，也是人员组织问题

43:52 Post-training 与强化学习的数据从何而来？

45:58 AI 泛化的下一步：从编程、数学走向更复杂的领域

47:22 NVIDIA 的研究组织架构：任务是老板，不是组织架构图

48:12 Nemotron 名字的由来：NeMo 与 Megatron 团队的融合

49:29 如何让 500 人高效协作：内部想法分享与评估流程

50:23 GPU 算力如何分配？两周一次的预算审核周期

52:09 如何平衡有用的研究与探索性研究：研究需要“自举”

53:35 NVIDIA 的登月项目是自下而上还是自上而下？

55:27 NVIDIA 为何在巨大成功后仍保持创业精神？

AI 的未来、安全与人类