Episode Details

讓 AI agent 反覆跑推理優化，最大加速是去掉 top-p sampling (+10.8%)。KV cache 量化反而崩壞，多數調參只是雜訊。比速度更重要的發現是：測試框架才是優化的真正產品。

⭐ 文章深度讀：整理了哪些優化有效、哪些只是雜訊的完整分析
→ https://heymaibao.com/ai-agent-inference-optimization-experiment/

⚡ 章節重點
AI 效能數字在自嗨？ 00:00
一個逼 AI 說實話的實驗 01:17
最大加速竟來自最簡單的改動 02:57
理論上該有效卻全軍覆沒 04:00
比 10.8% 更值錢的發現 05:15

📝 懶人包
∙ 去掉 top-p sampling 改用 argmax (貪婪解碼)，就拿到最大加速：Qwen 0.5B 4-bit 上 +10.8%，Llama 3.2 3B 4-bit 上 +2.6%。sampling 的運算開銷不是免費的

∙ KV cache 量化理論上應該加速，但在 Apple Silicon 上反而讓品質崩壞或速度下降。照搬理論不如實測

∙ 大部分調參 (prefill step size、關閉 GC、調 Metal cache 限制) 都只是測量雜訊，一旦明顯浪費被消除，剩下的改動在天花板附近微小移動

∙ 我的觀察：這個實驗最有價值的不是那 10% 的加速數字，而是測試 harness (固定的評估框架) 的設計本身。當你的測試框架能攔截「減少輸出長度就看起來更快」這種假贏，你才算真的在優化，而不是在自欺

📚 參考資料
What Happened When I Applied Karpathy's Autoresearch Idea to LLM Inference
→ https://x.com/manthanguptaa/status/2036785420349174073