何看待前沿模型训练和部署的风险。 主持人： 你提到过这些问题。我想知道为什么需要保密协议和比其他公司更严格的规定？公开信是在一系列高调离职后发布的包括 J k 和 k。他们领导了对齐团队负责安全工作。 是联合创始人他与其他三位董事
起罢免了但 k 在 上发布了这
条消息：“在过去的一年里安全文化和流程被闪亮的新产品所取代。” 这是对 最持久的批评之一你认为这是公平的为什么或者为什么不公平？如果你说你非常应对这种批评？ ： 首先对齐团队不是唯一负责安全的团队。 有许多
安全团队对齐团队是其中一个非常重要 Rang 数据 的安全团队但只是其中之一。 我们有很多人在 从事安全工作我可以稍后详细解释。 是一位了不起的研究人员和同事我与他共事了三年非常尊重他他离开 加入了 这是一个竞争对手。 我认为我们确实需要更加专注于安全、保护和监管参与鉴于我们预期领域内的进展。但我不同意我们可能将产品放在安全之前的观点。
你为什么认为他们这么说？ 主持人： 因为这些是和你共事的人？ ： 我认为你需要问他们但我认为许多人认为安全和能力是分开的。有些人认为安全和能力是分开的单元从 开始我来自航空和汽车行业这些行业有非常成熟的安全思维和系统不需要不断辩论安全问题因为这些已经很成熟了。 因此我认为整个行业需要向更加严格的安全学科发展。我们有安全系统
有严格的操作安全纪律这包括许多方面 成本和困难是这样的 不仅是操作纪律还有我们今天产品和部署的安全性例如有害偏见、假信息、错误信息分类器等。 主持人：
我关闭了我的手机和提示音
继续。不仅是今天模型的对齐我们使用人类反馈进行强化学习但也要考虑模型随着能力增强的长期对齐问题这是一个非常关注的研究领域。 主持人： 但这在 中一直存在。我认为因为你们是当前的领先公司所以这个问
题更加突出。但人们担心的是安全问题 的创立 美国名单 目的之一就是确保安全。 上周有 名现任和前任 和谷歌 员工联名发表公开信呼吁公司允许他们警告关于先进 的风险。这并不新鲜但在这种情况下员工们说“广泛的保密协议阻止我们表达担忧而公司可能未能解决这些问题。” 你对此有什么回应？人们担心报复而我
不想谈论股票的问题因为我知道你们道歉并纠正了这一点。但如果他们有担忧难道不应该让他们表达吗？我知道不同人有不同的看法。 ： 当然我们认为辩论非常重要能够公开表达这些担忧并讨论安全问题也非常重要。自 成立以来我们一直非常开放地讨论假信息问
题从 – 时代开始这就是我们早期研究的问题之一。 过去几年技术进步令人难以置信速度之快超乎预期这也增加了人们对社会准备情况的普遍焦虑。我们看到科学的发展方向所以可以理解人们对未来的担忧。 具体来说我们在 所做的工作和部署这些模型的方式我
认为我们有一支出色的团队我们非常安全地部署了这些模型我对此感到非常自豪。鉴于技术进步的速度和我们自身的进展专注于安全、保护框架非常重要我们需要考虑如何看待前沿模型训练和部署的风险。 主持人： 你如何应对他？我理解这种动态。这在谷歌、早期的微软和亚马逊都发生过。随着
