发布作品

    05-18发布

    Jan Leike的离职感言:OpenAI不重视安全问题 在首席科学家Ilya宣布离开OpenAI后,“超级对齐”团队的另一名负责人Jan Leike也离开了OpenAI。 5月17日,Jan Leike在X上连发多条内容,发表了自己的离职感言: 昨天,是我担任OpenAI对齐主管、超级对齐主管和总经理的最后一天。 在过去的三年里,这是一次如此疯狂的旅程。我的团队与 InstructGPT 一起推出了第一个 RLHF LLM,发布了第一个对 LLM 的可扩展监督,开创了自动解释性和从弱到强的泛化。更多令人兴奋的内容即将推出。 我爱我的团队。我非常感谢与我一起工作的许多出色的人,无论是超级对齐团队内部还是外部。 OpenAI 拥有众多异常聪明、善良且高效的人才。 离开这份工作是我做过的最困难的事情之一,因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的人工智能系统。 我加入是因为我认为 OpenAI 将是世界上进行这项研究的最佳场所。然而,相当长一段时间以来,我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧,直到我们最终达到了临界点。 我认为我们应该花更多的精力为下一代模型做好准备,涉及安全、监控、准备、安全、对抗性稳健性、(超级)一致性、保密性、社会影响和相关主题。 这些问题很难解决,而且我担心我们还没有走上解决这个问题的轨道。 在过去的几个月里,我的团队一直在逆风航行。有时我们在计算方面遇到困难,完成这项重要的研究变得越来越困难。 建造比人类更聪明的机器本质上是一项危险的工作。 OpenAI 代表全人类承担着巨大的责任。 但在过去的几年里,安全文化和流程被抛到了一边,让位于闪亮的产品。 我们早就该认真对待通用人工智能的影响了。我们必须优先考虑尽可能地为它们做好准备。只有这样,我们才能确保AGI造福全人类。 OpenAI 必须成为一家安全第一的 AGI 公司。 我想对所有 OpenAI 员工说:学会感受AGI。采取与你正在构建的事物相适应的庄重态度。我相信您可以“实现”所需的文化变革。我指望你了。全世界都指望着你。