Episode Details
Back to Episodes
AI 當評審也會偷懶!先出考卷再打分才抓得到多改的那一處 (換個順序就翻盤)
Published 2 days, 1 hour ago
Description
AI 評審替圖打分也會偷懶,這篇模型評測看 TRM 先看題目和作品出考卷再打分,抓得到修圖多改的那一處。原版 Qwen3.5-9B 直接比兩張圖,左右對調就有 54.7% 配對翻盤。
⭐ 文章深度讀:AI 當評審也會偷懶!先出考卷再打分才抓得到多改的那一處
→ https://heymaibao.com/ai-judge-rubric-before-score-a362b0/
⚡ 章節重點
AI 多改的那一處 00:00
看圖出考卷的評審 00:42
評審偷懶的兩張臉 02:02
評審當老師的成績 04:17
勝率圖與自己的檢查 05:54
📝 懶人包
∙ 論文的評審看了題目和這張作品才擬評分計畫,不用固定檢查表。
∙ 只把兩張圖左右對調,Qwen3.5-9B 有 54.7% 的配對答案翻盤。
∙ TRM 只有 EditScore-72B 八分之一大,當評審的效果差不多。
∙ 我的觀點:先決定這一份該看什麼,再判斷做得多好,改作文看提案都通用。
📚 參考資料
Think Before You Score: Thinking Reward Model for Visual Generation
→ https://arxiv.org/html/2609.37372
Black Forest Labs
→ https://bfl.ai/blog/flux-2