Episode Details

出品| 虎嗅科技组

脸书改名Meta后，它的“财务厄运”并未因此终止，但技术作风却一如既往的大胆。虽然自今年2月以来，公司股价已经下跌30%，市值损失超过2500亿美元。但是，这并没有影响开发者们的精神世界与工作动力。

上周，一小撮Meta程序员的疯狂举动，在全球AI开发者群体中引发了巨大骚动。当地时间5月3日，Meta AI 实验室高调宣布，将开放自己的语言大模型 OPT，且毫无保留地贡献出所有代码。

不夸张地说，在人工智能圈，这算得上是一个里程碑事件。

这个被称为OPT的大规模语言模型，自建立以来，各项参数与能力便精准对标OpenAI 的GPT3，甚至连缺点都是。后者在全球学术界建立的赫赫声望和随处可见的网络小说续写作品，已经不必再过多赘述。简而言之，这是一种利用巨量网络文本与书籍进行训练，可以将单词和短语串在一起组成精彩文本的深度学习算法模型。它能生成复杂的句子，甚至有时候读起来与人类撰写的毫无差别。在某种程度上，它所具备的人工文本模仿能力，被视为人类通往真正机器智能道路上的一个巨大突破口。

然而，“培育”大模型的代价，是成千上万块显卡以及昂贵的人力成本。因此，许多学者都认为，把大模型开放出来这种事，在“游走于垄断边缘”的大型科技公司身上几乎不可能发生。

譬如，专家曾粗略估算过，OpenAI 的GPT3至少投入了1000万美元。后来他们为了摆脱入不敷出的现状，将GPT3作为一项付费服务来推广，也就是只提供API接口，但不会开放模型本身和底层代码。

然而，Meta则表示，他们会把不同参数规模的训练模型以及“OPT如何建造和训练”的详细信息分发给研究人员。其中，也包括了一份超过100页的算法训练日志，日志中包括了实验室记录下的每一个错误与崩溃现象，以及训练和添加数据的过程，还有有效与无效策略。

他们在OPT的论文摘要里鲜明地表达了自己态度，摘要写道：“考虑到计算成本，如果没有大量资金，这些模型很难复制。对于少数通过api可调用的模型，如果不能获得完整的模型权重，就难以进行研究”，“因此，我们推出了OPT，目标是全面且负责任地分享给感兴趣的研究人员。”他们提到的“少数通过api可调用的模型”，暗指的就是GPT3。

一位中国开发者在查阅了MetaAI的网站后，告诉虎嗅，这的确是一个好消息。他说，“从现有数据来看，整个训练代码都被贴出来了。Meta很了不起。”

这一次开源，毫无意外受到了学术界的高度认可，甚至有科学家将其称之为“一个伟大的举动”。

Listen Now