及其他公司开始大规模

据的成果。而未来的情况可能就像增强版的互联网：如果互联网不仅仅是一个人类娱乐设备，而是一个大规模的数据生成实验，会怎样呢？ David George： 你对行业现状有独特的见解，你如何描述当前语言模型的状态呢？我很想谈谈市场结构，但可以先从你对行业的整体看法开始。 Alexandr Wang： 是的，我认为我们可能正接近语言模型开发的第二阶段末期。第一阶段是早期几乎完全的研究阶段，标志性的成果包括最初的 Transformer 论文和对 GPT 的早期小规模实验，直到 GPT-3 发布为止。 这是一个专注于小规模实验和算法进步的阶段。然后，第二阶段大致从 GPT-3 开始到现在，进入了初始扩展阶段。 GPT-3 表现得相当不错，接着 Open 扩展这些模型，像Google、Anthropic、 Meta 和 x 等许多公司也加入了这个竞赛，将模型的能力提升到极限。 过去两

三年间，几乎完全是执行层面的工作，涉及如何使大规模训练顺

利进行，如何避免代码中的怪 以色列日期目标电话号码或电话营销数据 异错误，如何设置更大的集群等。 接下来我认为我们将进入一个研究和执行之间更多交替的阶段，各实验室将朝着不同的研究方向发展，并在不同时期取得各自的突破，因此这是一个激动人心的转折期。 David George： 他们已经达到了一个阶段，虽然不能说计算资源是丰富的，但已经足够支撑模型的发展，基本不再是一个限制。而在数据方面，所有前沿实验室已经尽可能地挖掘了可用的数据资源。接下来就是在数据方面取得突破，对吗？ Alexandr Wang： 是的，基本上是这样。如果你看这三大支柱，计算方面我们显然会继续扩大训练集群的规模，这个方向是比较明确的。算法方面，我认为将会有很多创新。 事实上，很多实验室现在都在这一领域进行深入的研究。而关于数据，你提到的很对，我们已经用尽了所有容易获取的公开

数据。 David George： 是的，所有人都可以获得相同的

数据。 Alexandr Wang： 没错，很多人称 出售锁定电话的工作是非法的吗 之为“数据墙”，我们已经利用了所有公开的数据资源。而下一阶段的标志之一将是数据生产。 每个实验室将如何生成所需的数据以实现更高的智能水平，这将是一个关键问题，我们如何朝着数据丰富迈进？这将需要多个领域的前沿研究。 我认为，首先是推动数据复杂性的提升，迈向前沿数据。我们希望在模型中构建的许多能力，其最大的障碍其实是数据的缺乏。 比如说，过去两年内， Agent 一直是一个热门话题，但实际上几乎没有 Agent 能很好地运作。原因是网络上根本没有大量有价值的 Agent 数据。这些数据不在那里，所以我们需要生产高质量的 Agent 数据。 David George： 能举个例子，说明我们需要生产什么样的数据吗？ Alexandr Wang： 我们即将发布的一项研究表明，目前所有前沿模型在工具组合

上的表现都很差。比如它们需要先查找信息，然后

编写一个 Python 脚本，再绘 tw 列表 制图表，使用多个工具串联起来解决问题时，模型表现得非常糟糕。而这对人类来说是非常自然的。 David George： 是的，但这些操作没有被记录下来，是这个意思吗？也就是说，模型无法学习到这些步骤。 Alexandr Wang： 完全正确。这些推理链条在人类解决复杂问题时非常常见，我们会自然地使用一系列工具，思考问题并推理下一步需要做什么。如果遇到错误，我们会回过头重新考虑。很多这样的智能链条数据今天根本不存在。这是一个需要生成的数据例子。 退一步讲，首先需要在数据上取得的进展是增加数据的复杂性，朝前沿数据迈进。其次是增加数据的生产量，捕捉更多人类在实际工作中的行为。 David George： 更多捕捉人类在工作中的实际