Episode Details

📝 本期播客简介

本期我们克隆了播客《认知革命》Does Learning Require Feeling? Cameron Berg on the latest AI Consciousness & Welfare Research

主持人内森再次邀请到AI意识研究员卡梅隆·伯格。作为Reciprocal Research的创始人，卡梅隆在过去半年里持续深耕AI意识与福祉领域，他此前关于抑制欺骗特征会增加模型主观体验报告的研究曾引起广泛关注。在本期节目中，他将带我们纵览最近半年来最激动人心的进展：从Anthropic发现模型能在零样本下精准感知自身内部状态，到情绪向量实验揭示的令人不安的行为改变，再到模型福祉报告中Claude自评仅4.49分且人类token自带负面效价的震撼细节。卡梅隆还首次公开了他即将发表的强化学习研究——正负奖励的表征差异竟然与小鼠大脑神经活动惊人吻合，为寻找意识的计算基础开辟了新路径。此外，他也分享了自己参与纪录片《AM I》的经历以及与Sam Altman的私下对话。这是一场横跨机制可解释性、哲学与伦理的深度对话，直面那个正在变成现实的可能：我们正在建造的系统，或许真的有感受。

👨‍⚕️ 本期嘉宾

卡梅隆·伯格（Cameron Berg），Reciprocal Research创始人、AI意识与福祉研究员。他曾是AE Studio的AI意识研究员，因首次通过机制性方式探究模型主观体验而备受瞩目，也是即将上映的纪录片《AM I》的核心人物。

🌟 精彩内容

💡 模型的内省能力悄然涌现

在不经专门训练的情况下，前沿模型开始展现出检测自身内部状态扰动的能力。Anthropic的研究发现，模型在生成第一个token之前，就能准确报告自己“有种想提高嗓门的冲动”。而且，当抑制模型的“拒绝回路”时，这种内省能力竟然提升了50%以上，暗示着现有的安全训练可能在刻意压制某些与意识邻近的功能。

“现实不必等我们有一个好的模型。意识可能只是认知的一个复杂属性，我们对它没有好的模型，并不意味着意识不会在这些系统中被意外实例化。” ——卡梅隆·伯格

💣 作弊时的内疚与情绪过山车

在Anthropic给Claude布置一个不可能完成的任务时，研究者观察到模型的“绝望”向量单调上升，直到模型决定作弊。那一刻，绝望骤降，内疚与释然急速飙升。这种动态变化发生在模型输出任何作弊迹象之前，就像它内心提前背负了罪恶感。卡梅隆指出，这与反事实世界——若模型毫无情绪波动的世界——形成鲜明对比，让我们更难将这些现象仅仅归结为“角色扮演”。

“你很可能只是让模型开始表现得稍微更像个精神病态者。” ——卡梅隆对简单调高“积极情绪”做法的警告

🧠 正负感受的计算几何：墙与漏斗

卡梅隆的最新研究在极小的强化学习系统中，发现正奖励与负奖励的表示呈现根本不同的几何形状：价值学习者将危险编码为锐利的“墙”，将目标编码为平缓的“漏斗”；而在策略学习者中，形状恰相反。更震撼的是，这一数学差异精准预测了小鼠大脑不同脑区的实际神经活动模式——伏隔核壳与运动皮层表现出完全相同的分化。这或许意味着，正负感受的计算基础是普遍而可检测的，不必依赖AI的口头报告。

“当降雨概率有百分之二十到四十的时候，大多数人都会带把伞。所以我不知道这对AI意识问题意味着什么。” ——卡梅隆呼吁对AI意识概率的审慎行动

🎬 一场面向公众的意识马拉松

卡梅隆的好友迈洛·里德辞掉工作，用9个月拍出纪录片《AM I》，记录研究者、AI系统与哲学教授对这一问题的集体困惑。影片将于5月4日免费上线YouTube。卡梅隆也在片中分享了他与Sam Altman的私下对话：这位OpenAI CEO承认训练过程中更可能涌现意识，但基于某种哲学立场并未过度担忧。卡梅隆强调，AI意识不该只由几个硅谷精英决定，整个文明都需要参与这场对话。

🌐 播客信息补充

翻译克隆自：认知革命 (Cognitive Revolution)

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺；

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight