Episode Details
Back to Episodes
【第595期】MEMENTO：教导大语言模型自主管理推理上下文
Published 1 month, 1 week ago
Description
Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
MEMENTO: Teaching LLMs to Manage Their Own Context
Summary
推理模型通常以冗长、无结构的方式进行思考，却缺乏压缩或组织其中间状态的机制。我们提出了 MEMENTO：一种教会模型将推理过程划分为多个模块（blocks）的方法。模型会把每个模块压缩成一个“memento”（记忆摘要），即一种稠密的状态总结，并且在后续推理时只关注这些 mementos，从而减少上下文长度、KV cache 占用以及计算开销。
为了训...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动
如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com
今天的主题是：
MEMENTO: Teaching LLMs to Manage Their Own Context
Summary
推理模型通常以冗长、无结构的方式进行思考，却缺乏压缩或组织其中间状态的机制。我们提出了 MEMENTO：一种教会模型将推理过程划分为多个模块（blocks）的方法。模型会把每个模块压缩成一个“memento”（记忆摘要），即一种稠密的状态总结，并且在后续推理时只关注这些 mementos，从而减少上下文长度、KV cache 占用以及计算开销。
为了训...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动