Episode Details
Back to Episodes
【第575期】尖峰、稀疏与汇聚：大模型异常激活解析
Published 2 months ago
Description
Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks
Summary
我们研究了 Transformer 语言模型中两种反复出现的现象：大规模激活（massive activations），即极少数 Token 在少量通道中表现出极端的离群值；以及注意池（attention sinks），即某些 Token 无论语义相关性如何，都会吸引不成比例的注意力...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks
Summary
我们研究了 Transformer 语言模型中两种反复出现的现象：大规模激活（massive activations），即极少数 Token 在少量通道中表现出极端的离群值；以及注意池（attention sinks），即某些 Token 无论语义相关性如何，都会吸引不成比例的注意力...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动