Episode Details

12 個 Claude 模型閉眼畫世界地圖，這場模型評測只用文字問 16,200 個點是陸地還是海。同代的 Haiku 4.5 贏過 Sonnet 4.5，換代進步更明顯，選模型該先看版本新舊。

⭐ 文章深度讀：12 個 Claude 閉眼畫地球！選模型比大小不如比版本新舊
→ https://heymaibao.com/claude-blind-world-map-eval-c3eb36/

⚡ 章節重點
閉著眼畫的世界地圖 00:00
一格一格問出的地圖與分數 00:34
模型大小與版本新舊 01:29
前三名的星號 02:44
模型心中地圖的來源 03:25
選模型的經驗法則 04:02
思考的分數與畫錯的面積 04:30
測試的邊界與下次提問 05:17

📝 懶人包
∙ 測試在地球每隔 2 度問一次陸地還是海，共 16,200 個點

∙ 同一代裡 Haiku 4.5 拿 81.3%，Sonnet 4.5 只有 60.5%

∙ 前三名都標了星號，代表回答前一律會先思考 (effort=low)

∙ 我的觀點：問 AI 事實問題時，它也是在憑心中這張地圖回答

📚 參考資料
Cool eval.
→ https://x.com/karpathy/status/2105909609487872075

results for all claudes
→ https://x.com/celestepoasts/status/2103232383139057950