Episode Details
Back to Episodes#569. 深入 xAI：三个月打造 Grok Imagine、视频生成与世界模型之争，以及视频智能体
Description
📝 本期播客简介
原内容更新时间：2026-06-01
本期节目是一场关于视频生成、世界模型和 Video Agent 的高密度技术访谈。嘉宾 Ethan He 曾在 Nvidia 参与 Cosmos world model，后来加入 xAI，从零参与 Grok Imagine、音视频联合生成、reference video、视频延展和 world model 相关工作。他在节目中复盘了 xAI 如何在短短三个月里，从没有基础设施、没有数据、没有模型的状态，快速做出 Grok Imagine 0.9；也详细解释了视频模型从数据、caption、VAE、diffusion transformer 到 distillation 的完整训练链路。
更重要的是，Ethan 提出了几个非常有判断力的观点：视频模型的很多进步，其实来自语言模型，而不是视频 diffusion 本身；world model 在他看来就是“实时、可交互、长时程的视频”；未来的 Video Agent 会像人类创作者一样，调用视频模型、图像编辑器、FFmpeg 和各种确定性工具，迭代生成真正可用于广告、创作和生产环境的视频内容。这期不仅适合想理解视频生成技术路线的人，也适合想提前看懂 AI 交互界面、生成式媒体和 Agent 未来趋势的听众。
👨💻 本期嘉宾
Ethan He，曾在 Nvidia 参与 Cosmos world model 和 Megatron-LM MoE 等工作，后加入 xAI，参与 Grok Imagine、视频生成、音视频联合生成、reference video、视频延展和 world model 相关研发。他的研究经历横跨计算机视觉、自监督学习、大规模 MoE、视频 diffusion、world model 和 LLM Agent。
⏱️ 时间戳
00:00 开场 & 播客简介
从 Cosmos 到 xAI：三个月做出 Grok Imagine
02:42 嘉宾登场：Ethan He 与 Latent Space 社区的缘起
04:14 为什么离开 Nvidia：视频模型也有 scaling law，需要更大算力
05:43 xAI 从零起步：三个月做出 Grok Imagine 0.9
06:15 快速迭代的秘密：人才、infra、compute 与低沟通成本
08:23 模型质量提升的真相：很多突破来自数据和训练 pipeline 里的小 bug
08:37 Coding model 如何改变研究节奏：代码更快，compute 再次成为瓶颈
09:54 高压研发文化：算力昂贵，但这是一场马拉松
视频模型是怎么训练出来的
11:46 为什么做视频模型之前，通常要先做图像模型
12:50 数据从哪里来：人工详细标注与 VLM 生成 synthetic caption
14:12 训练视频模型为什么既需要配对数据，也需要无标签数据
15:07 VAE / tokenizer：为什么不能直接在像素上训练
17:08 Diffusion transformer：从噪声一步步去噪生成图像和视频
17:27 图像模型如何 bootstrap 视频模型：语言与图像连接更密集
18:24 视频压缩路线：逐帧压缩 vs 时间维度压缩
18:55 为什么不用 MP4 token 直接训练：latent space 必须对模型友好
20:00 实时性的代价：时间压缩节省 context，但会引入响应延迟
生成式 UI 与世界模型的早期形态
20:51 Flipbook：像浏览器一样探索模型想象出的网页
22:31 Generative UI：从用户意图直接到像素，而不是先写代码再渲染
24:09 Diffusion 前端，确定性后端：未来界面可能如何被重构
25:15 人机交互的带宽：人类用语音输出，用视觉输入
26:15 NeuroOS：用视频模型模拟操作系统和游戏
27:52 从过拟合现有界面，到想象全新交互系统
28:47 为什么视频模型能生成训练集中不存在的超自然内容
视频模型的成本、加速与音视频联合生成
31:05 视频模型到底有多贵：训练成本接近中等规模 LLM
31:52 被低估的成本：视频存储、特征存储、IO 和 egress
33:29 训练规模：数十万亿视觉 token、百亿级 active 参数
34:16 推理端加速：step distillation 如何把一百步变成几步
36:36 Consistency model、GAN 与少步生成的关系
37:48 Grok Imagine 0.9：大规模音视频联合生成模型
38:00 音频为什么难：speech 更离散，music 更连续
40:25 音视频对齐：模型必须理解每一秒声音和画面的关系
41:20 时间感：为什么 LLM 本身并不真正感知时间
Ethan 对 World Model 的定义
43:47 什么是 world model：实时、可交互、长时程的视频
44:03 交互性：键盘、鼠标、语音都可以成为输入模态
45:00 实时性：游戏需要毫秒级响应，数字人也要接近两百毫秒
46:00 长时程：世界模型不能只生成几秒，而要持续几分钟甚至几小时
47:00 视频延展：通往长时程 world model 的第一步
48:00 长 context 的挑战：五秒视频就可能有五六万 token
49:03 为什么用户喜欢视频延展：它是通往最终目标的中间产品
Reference Video 与动态上下文管理
51:24 长视频里的冗余：不是所有历史都需要一直放进 context
52:01 Reference video：用角色、