Episode Details

Back to Episodes

#577.长时运行 Agent:开发者如何让 AI 连续干活不跑偏,模型前沿快速迁移下的工程取舍

Published 4 weeks ago
Description

📝 本期播客简介

本期我们克隆了:AI Engineer Conference 的技术分享《Build Agents That Run for Hours (Without Losing the Plot)》— Ash Prabaker & Andrew Wilson, Anthropic

本期节目是一场非常硬核但极具实践价值的 Agent 工程分享。来自 Anthropic 应用 AI 团队的 Ash Prabaker 和 Andrew Wilson,系统拆解了一个关键问题:如果我们希望 AI Agent 不只是完成几分钟的小任务,而是能连续运行数小时、甚至几天,构建完整应用、调试复杂系统、持续自我推进,工程上到底需要做什么?

Andrew 先回顾了 Claude Code 和 Agent SDK 在过去一年中的演进:从早期模型只能跑二十分钟,到如今可以在合适的 harness 下运行数小时甚至更久;从 Computer Use、MCP、skills、检查点、Agent teams,到服务端压缩和百万上下文窗口,模型能力和脚手架设计一直在彼此塑造。

Ash 则进一步分享 Anthropic 内部正在实验的长时运行 harness:将 planner、generator、evaluator 拆成独立角色,用对抗式评估器替代自我评估,让 Agent 真的打开网页、点击、测试、写批评意见,并通过一份具体的 contract 来判断“什么叫完成”。他强调,很多时候提升 Agent 能力的关键不是再加一层复杂架构,而是认真读 traces,理解模型为什么跑偏,再决定 scaffold 里哪些该保留,哪些该删掉。

这期适合所有正在做 Agent、AI 编程工具、Claude Code 工作流、自动化测试、AI 产品原型和长任务自动化的开发者、产品经理和技术创业者收听。

👨‍💻 本期讲者

Ash Prabaker,Anthropic 应用 AI 团队工程师,关注长时间运行 Agent、前端生成、对抗式评估器、Agent harness 和后训练实验。

Andrew Wilson,Anthropic 应用 AI 团队解决方案架构师,常驻伦敦,主要与数字原生客户和行业客户合作,关注 Claude Code、Agent SDK、企业级 AI 工作流和长时运行 Agent 的实际落地。

⏱️ 时间戳

00:00 开场 & 本期简介

问题的提出:为什么 Agent 跑久了会失控

01:29 分享开始:Anthropic 应用 AI 团队要解决什么问题

02:17 Claude Code 的一年变化:从跑二十分钟到跑好几天

03:20 长时运行 Agent 的三大难题:上下文、规划、自我判断

04:44 两条解决路径:把能力训练进模型,或用 harness 补齐短板

Claude Code 与 Agent SDK 的演进史

05:11 Agent SDK 的核心循环:模型、工具、MCP、subagent 与权限系统

06:10 Claude 早期编程能力:Artifacts、Computer Use 与 MCP

06:56 Claude Code 的研究预览:用真实开发反馈改进模型

07:27 Opus 4 / Sonnet 4:上下文管理和任务完成能力提升

08:00 Ralph loop:在非确定世界里构建“确定性地差”的循环

09:20 Claude Code 2.0:检查点、压缩和更强的上下文意识

10:04 Haiku / Opus 4.5:子 Agent 变便宜,规划与执行可以拆分

10:27 Skills 与程序化工具调用:更高效地使用 context window

第一代长时运行 harness

11:17 从一句模糊 prompt 到持久化产物:feature list、progress、git repo

12:01 每轮只做一个功能:新上下文、冒烟测试、实现、验证、提交

12:53 Opus 4.6 / Sonnet 4.6:更 agentic 的模型与 Agent teams

14:21 模型变强后,harness 不会消失,而是会移动前沿

新的 harness 思路:把角色拆开

15:16 Ash 接棒:前沿不会缩小,只会移动

16:00 借鉴 GAN:generator 负责构建,evaluator 负责批评

16:47 为什么不要让 Agent 自己审查自己

17:30 如何设计“严格的批评者”:把品味变成可评分标准

18:45 设计、原创性、工艺感、功能性:前端质量如何量化

19:40 加入 planner:从好看的页面走向完整可用的应用

20:33 先协商“什么叫完成”:generator 与 evaluator 的 contract

21:13 为什么 contract 是 Ralph loop 缺少的关键创新

案例:同一句 prompt,结果为何天差地别

21:38 复古游戏制作器:没有 harness 时,看起来能用但实际玩不了

23:02 加上 harness 后:Retro Forge、项目对话框、Sprite 编辑器与 AI 关卡助手

24:04 evaluator 真正玩游戏:方向键、碰撞、HUD、物理循环都被测试

24:32 真实测试能抓到什么:路由顺序、删除逻辑、生产环境 bug

25:12 二十七条 contract 标准:标准模糊,批评就会模糊

调试 Agent 的真正手艺

25:44 开箱即用的 Claude 并不是好 QA:宽容偏差与迎合倾向

26:02 如何调 evaluator:读运行轨迹,找模型判断与人类判断的偏差

26:18 用 Agent 读 Agent traces:让另一个 Agent grep 日志、更新 prompt

模型变强后,harness 应该怎么变

26:39 harness 设计不是一劳永逸:要随着模型行为调整

27:05 为什么某些 context reset 可以删掉

27:47 evaluator 运行节奏的变化:从每个 sprint 跑一次,到生成后再跑

28:21 最终简化版:planner、generator、evaluator 仍是核心

28:

Listen Now