Episode Details

LangChain 團隊分享 AI agent eval 實戰心法。越多測試不代表越好，關鍵是每條 eval 都要對準生產環境行為。從 dogfooding 到模型選擇框架，看懂 eval 策展核心邏輯。

⭐ 文章深度讀：整理了 eval 行為向量心法，從 dogfooding 到正確性優先框架
→ https://heymaibao.com/ai-agent-eval-design/

⚡ 章節重點
全部測試過，上線就爆 00:00
百分之百的失敗 00:48
三種 eval 來源哪種最有效 02:47
先對再快的模型選擇框架 04:08
框架背後的三個缺口 05:45
最值錢的心態轉換 06:41

📝 懶人包
∙ eval 數量堆疊是假進步。每條 eval 都要能回答「它在測哪個生產環境的行為」，回答不出來就不該加

∙ 最有效的 eval 來源是 dogfooding (自己用自己做的產品) 產生的真實錯誤，不是從 benchmark 批量匯入

∙ 選模型先過正確性門檻再比效率。用「理想軌跡」量化同樣答對但多繞了幾步

∙ 我的觀察：文中沒有討論「什麼錯誤值得寫成 eval」的優先級框架。dogfooding 每天都會發現錯誤，但不是每個都值得固化成永久測試，這個篩選標準才是實務落地最大的缺口

📚 參考資料
How We Build Evals for Deep Agents
→ https://blog.langchain.com/how-we-build-evals-for-deep-agents/