Episode Details
Back to Episodes
【第633期】Lighthouse Attention重构长文本AI底层逻辑
Published 6 days, 8 hours ago
Description
Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
Long Context Pre-Training with Lighthouse Attention
Summary
在极长序列长度下训练因果 Transformer（causal transformers）受到缩放点积注意力（SDPA）平方级时间和内存复杂度的瓶颈制约。在这项工作中，我们提出了 Lighthouse Attention，这是一种仅在训练阶段使用的、基于对称选择的分层注意力算法。它包裹在普通的 SDPA 周围，并且可以在训练接近尾声时轻松移除。我们的...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
Long Context Pre-Training with Lighthouse Attention
Summary
在极长序列长度下训练因果 Transformer（causal transformers）受到缩放点积注意力（SDPA）平方级时间和内存复杂度的瓶颈制约。在这项工作中，我们提出了 Lighthouse Attention，这是一种仅在训练阶段使用的、基于对称选择的分层注意力算法。它包裹在普通的 SDPA 周围，并且可以在训练接近尾声时轻松移除。我们的...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动