OpenAI安全副总裁离职

三言科技11月9日消息，今日，OpenAI安全研究副总裁Liian Weng宣布离职。她回顾了自己在OpenAI工作的经历，同时表示在公司七年后，感觉“是时候重新出发”。

以下是其离职信全文：

亲爱的朋友们，我做出了一个极其艰难的决定，那就是离开OpenAI。11月15日将是我在办公室的最后一天。

OpenAI是我作为科学家和领导者成长的地方，我将永远珍惜与每一位共事过和结识的同事在一起的时光。OpenAI团队一直是我的知己、良师益友，也是我个人身份的重要组成部分。

我依然清晰地记得2017年时，我对OpenAI的使命是多么着迷。那时，我们这群人梦想着一个看似不可能、宛如科幻的未来。

开始，我在这里研究的是全栈机器人挑战——从深度强化学习算法，到感知，再到固件——目标是教会单只机械手如何解开魔方。整个团队花了整整两年时间，但我们最终成功了。

当OpenAI进入GPT范式，我们开始探索如何将最佳AI模型部署到现实世界时，我建立了第一个「应用研究团队」（Applied Research team）。团队推出了微调API、嵌入API和审核端点的初始版本，为应用安全工作奠定了基础，并为许多早期API客户提供了创新解决方案。

在GPT-4发布后，我被赋予了一项新的使命：重新思考OpenAI安全系统的愿景，并将工作集中在一个掌控完整安全堆栈的团队之下。这是我做过的最困难、最有压力，同时也是最令人兴奋的事情之一。

如今，安全系统团队拥有80多名出色的科学家、工程师、产品经理和政策专家，我为我们团队取得的一切感到无比自豪。我们共同成为每次重大发布的基石——从GPT-4及其视觉和turbo版本，到GPT商店、语音功能和01。

在训练这些模型既强大又负责任方面的工作上，我们树立了新的行业标准。我特别为我们最新的成就——o1-preview模型感到自豪，它是我们迄今为止最安全的模型，在保持其实用性的同时，表现出对「越狱」攻击的卓越抵抗力。

我们取得的成功，十分令人瞩目：

我们训练模型如何处理敏感或不安全的请求，包括何时拒绝或接受，通过遵循一套明确定义的模型安全行为政策，在安全性和实用性之间取得了良好的平衡。

我们在每次模型发布中都提高了对抗性鲁棒性，包括防御越狱、指令层级，并通过推理能力大大提高了模型的鲁棒性。

我们设计了严格而创新的评估方法，与准备框架保持一致，并为每个前沿模型进行了全面的安全测试和红队测试。我们对透明度的承诺体现在我们详细的模型系统卡中。

我们开发了业界领先的具有多模态能力的审核模型，并免费与公众分享。我们目前在更通用的监控框架和增强的安全推理能力方面的工作将为更多安全工作流程提供支持。

我们为安全数据日志记录、指标、仪表板、主动学习管道、分类器部署、推理时过滤和新型快速响应系统奠定了工程基础。

回顾我们取得的成就，我为安全系统团队的每个成员感到无比自豪，我坚信团队将继续蓬勃发展。我由衷地感谢你们，你们是最棒的！

现在，在OpenAI工作了七年之后，我感觉是时候重新出发，探索新的领域了。OpenAI正处于火箭般的轨道上，我衷心祝愿这里的每个人一切顺利。

PS：我的博客仍然活跃，并将继续更新。我可能很快就有更多时间来更频繁地更新博客，或许还能抽出更多时间来编码。