Episode Details
Back to Episodes#577.长时运行 Agent:开发者如何让 AI 连续干活不跑偏,模型前沿快速迁移下的工程取舍
Description
📝 本期播客简介
本期我们克隆了:AI Engineer Conference 的技术分享《Build Agents That Run for Hours (Without Losing the Plot)》— Ash Prabaker & Andrew Wilson, Anthropic
本期节目是一场非常硬核但极具实践价值的 Agent 工程分享。来自 Anthropic 应用 AI 团队的 Ash Prabaker 和 Andrew Wilson,系统拆解了一个关键问题:如果我们希望 AI Agent 不只是完成几分钟的小任务,而是能连续运行数小时、甚至几天,构建完整应用、调试复杂系统、持续自我推进,工程上到底需要做什么?
Andrew 先回顾了 Claude Code 和 Agent SDK 在过去一年中的演进:从早期模型只能跑二十分钟,到如今可以在合适的 harness 下运行数小时甚至更久;从 Computer Use、MCP、skills、检查点、Agent teams,到服务端压缩和百万上下文窗口,模型能力和脚手架设计一直在彼此塑造。
Ash 则进一步分享 Anthropic 内部正在实验的长时运行 harness:将 planner、generator、evaluator 拆成独立角色,用对抗式评估器替代自我评估,让 Agent 真的打开网页、点击、测试、写批评意见,并通过一份具体的 contract 来判断“什么叫完成”。他强调,很多时候提升 Agent 能力的关键不是再加一层复杂架构,而是认真读 traces,理解模型为什么跑偏,再决定 scaffold 里哪些该保留,哪些该删掉。
这期适合所有正在做 Agent、AI 编程工具、Claude Code 工作流、自动化测试、AI 产品原型和长任务自动化的开发者、产品经理和技术创业者收听。
👨💻 本期讲者
Ash Prabaker,Anthropic 应用 AI 团队工程师,关注长时间运行 Agent、前端生成、对抗式评估器、Agent harness 和后训练实验。
Andrew Wilson,Anthropic 应用 AI 团队解决方案架构师,常驻伦敦,主要与数字原生客户和行业客户合作,关注 Claude Code、Agent SDK、企业级 AI 工作流和长时运行 Agent 的实际落地。
⏱️ 时间戳
00:00 开场 & 本期简介
问题的提出:为什么 Agent 跑久了会失控
01:29 分享开始:Anthropic 应用 AI 团队要解决什么问题
02:17 Claude Code 的一年变化:从跑二十分钟到跑好几天
03:20 长时运行 Agent 的三大难题:上下文、规划、自我判断
04:44 两条解决路径:把能力训练进模型,或用 harness 补齐短板
Claude Code 与 Agent SDK 的演进史
05:11 Agent SDK 的核心循环:模型、工具、MCP、subagent 与权限系统
06:10 Claude 早期编程能力:Artifacts、Computer Use 与 MCP
06:56 Claude Code 的研究预览:用真实开发反馈改进模型
07:27 Opus 4 / Sonnet 4:上下文管理和任务完成能力提升
08:00 Ralph loop:在非确定世界里构建“确定性地差”的循环
09:20 Claude Code 2.0:检查点、压缩和更强的上下文意识
10:04 Haiku / Opus 4.5:子 Agent 变便宜,规划与执行可以拆分
10:27 Skills 与程序化工具调用:更高效地使用 context window
第一代长时运行 harness
11:17 从一句模糊 prompt 到持久化产物:feature list、progress、git repo
12:01 每轮只做一个功能:新上下文、冒烟测试、实现、验证、提交
12:53 Opus 4.6 / Sonnet 4.6:更 agentic 的模型与 Agent teams
14:21 模型变强后,harness 不会消失,而是会移动前沿
新的 harness 思路:把角色拆开
15:16 Ash 接棒:前沿不会缩小,只会移动
16:00 借鉴 GAN:generator 负责构建,evaluator 负责批评
16:47 为什么不要让 Agent 自己审查自己
17:30 如何设计“严格的批评者”:把品味变成可评分标准
18:45 设计、原创性、工艺感、功能性:前端质量如何量化
19:40 加入 planner:从好看的页面走向完整可用的应用
20:33 先协商“什么叫完成”:generator 与 evaluator 的 contract
21:13 为什么 contract 是 Ralph loop 缺少的关键创新
案例:同一句 prompt,结果为何天差地别
21:38 复古游戏制作器:没有 harness 时,看起来能用但实际玩不了
23:02 加上 harness 后:Retro Forge、项目对话框、Sprite 编辑器与 AI 关卡助手
24:04 evaluator 真正玩游戏:方向键、碰撞、HUD、物理循环都被测试
24:32 真实测试能抓到什么:路由顺序、删除逻辑、生产环境 bug
25:12 二十七条 contract 标准:标准模糊,批评就会模糊
调试 Agent 的真正手艺
25:44 开箱即用的 Claude 并不是好 QA:宽容偏差与迎合倾向
26:02 如何调 evaluator:读运行轨迹,找模型判断与人类判断的偏差
26:18 用 Agent 读 Agent traces:让另一个 Agent grep 日志、更新 prompt
模型变强后,harness 应该怎么变
26:39 harness 设计不是一劳永逸:要随着模型行为调整
27:05 为什么某些 context reset 可以删掉
27:47 evaluator 运行节奏的变化:从每个 sprint 跑一次,到生成后再跑
28:21 最终简化版:planner、generator、evaluator 仍是核心