OpenAI高层巨变:三位核心人物同期离场

150次浏览

刚刚,OpenAI高层大地震:K51知多少教育网-记录每日最新科研教育资讯

联创John Schulman辞职跑路,联创&总裁Greg Brockman长期休假,产品副总裁Peter Deng也被曝离职。K51知多少教育网-记录每日最新科研教育资讯

John Schulman(约翰·舒曼),长年领导OpenAI强化学习团队,被誉为“ChatGPT架构师”。K51知多少教育网-记录每日最新科研教育资讯

也是他在Ilya Sustkever离开之后,临时接管了超级对齐团队。
K51知多少教育网-记录每日最新科研教育资讯

现在他宣布“做了一个艰难的决定”,加入隔壁Anthropic,也就是Claude团队。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

与此同时,OpenAI总裁Greg Brockman也宣布将休长假,直到年底。K51知多少教育网-记录每日最新科研教育资讯

OpenAI计划10月1日起在全球各地举办开发者日等活动,他也将缺席。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

Brockman自述是在连续工作了9年之后第一次放松,但对年底之后的计划说的比较模糊,也有网友认为是出于保密协议。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

在舒曼离职官宣20分钟后,奥特曼在回复中感谢了舒曼的贡献,以及回忆了两人2015年初次见面时的情景。K51知多少教育网-记录每日最新科研教育资讯

但截至目前,奥特曼没有对Brockman休假做任何回应。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

奥特曼平常有打字句首字母和“i”不用大写字母的习惯,但每当重要同事选择离开时,他都会表现得更正式一些。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

著名OpenAI内幕爆料账号苹果哥表示:现在领导层已经成了一个空壳,你们还是赶紧发布产品吧。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

ChatGPT架构师离职K51知多少教育网-记录每日最新科研教育资讯

舒曼本科在加州理工学习物理,在UC伯克利短暂学习过神经科学,后来师从强化学习大牛Pieter Abbeel,完成计算机科学博士学位。K51知多少教育网-记录每日最新科研教育资讯

在他成为OpenAI联创时,博士还未毕业。K51知多少教育网-记录每日最新科研教育资讯

OpenAI是他在实习之外工作过的第一家也是唯一一家公司。K51知多少教育网-记录每日最新科研教育资讯

他的代表作、最高引论文PPO,也就是ChatGPT核心技术RLHF中选用的强化学习算法。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

后来在从GPT-3.5、GPT-4到GPT-4o的一系列工作中都领导了对齐/后训练团队。K51知多少教育网-记录每日最新科研教育资讯

这次他自述的离职原因也是与此相关:K51知多少教育网-记录每日最新科研教育资讯

希望加深对AI对齐的关注,并开启我职业生涯的新篇章,让我可以重返实际的技术工作。K51知多少教育网-记录每日最新科研教育资讯

不过他也给足了OpenAI面子,补充到“不是因为OpenAI缺乏对安全对齐工作的支持而离开”,只是出于个人希望集中精力。K51知多少教育网-记录每日最新科研教育资讯

在ICML2023的演讲中,舒曼自述过个人接下来关注的研究方向之一:如何避免过度优化。K51知多少教育网-记录每日最新科研教育资讯

  • ChatGPT 中的一些令人讨厌的行为(例如过度道歉)是过度优化的结果。K51知多少教育网-记录每日最新科研教育资讯

  • RLHF很容易对狭窄的指标进行过度优化,例如模型可能学会了能获得奖励的捷径,但没有真正理解。K51知多少教育网-记录每日最新科研教育资讯

  • 适当的对话任务训练需要推理、换位思考和知识,研究人员必须精心设计训练过程、奖励功能和数据集K51知多少教育网-记录每日最新科研教育资讯

  • 奖励信号必须评估整个对话的质量,而不仅仅是个别反馈。K51知多少教育网-记录每日最新科研教育资讯

在今年五月份与播客主持人Dwarkesh Patel访谈时,舒曼也表示,算力应该更多从预训练向后训练转移。K51知多少教育网-记录每日最新科研教育资讯

OpenAI人才持续流失K51知多少教育网-记录每日最新科研教育资讯

由于在AI安全方面理念和奥特曼不合,OpenAI的人才发生了大量流失。K51知多少教育网-记录每日最新科研教育资讯

今年5月,超级对齐团队的两名负责人——首席科学家Ilya Sutskever和RLHF发明者之一Jan Leike,在同一天内相继离开OpenAI。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

彼时离超级对齐团队的成立,过去还不到一年。K51知多少教育网-记录每日最新科研教育资讯

Jan Leike离开后更是连发十几条推文,对着OpenAI疯狂炮轰,控诉其没有兑现20%算力的承诺,并且对安全的重视程度远不及产品。K51知多少教育网-记录每日最新科研教育资讯

后来,Jan Leike选择加入了OpenAI的竞争对手Anthropic,继续进行超级对齐的研究。K51知多少教育网-记录每日最新科研教育资讯

在GPT-4项目上与Jan Leike共同领导对齐工作的Ryan Lowe,也已于3月底离开OpenAI。K51知多少教育网-记录每日最新科研教育资讯

还有超级对齐成员之一William Saunders,以及参与过GPT-4对抗性测试的Daniel Kokotajlo,也都从OpenAI离职。K51知多少教育网-记录每日最新科研教育资讯

更不必说隔壁Anthropic的创始人Dario Amodei和Daniela Amodei兄妹,也是OpenAI出身。K51知多少教育网-记录每日最新科研教育资讯

哥哥Dario离开前是OpenAI的研究副总裁,妹妹Daniela则是安全与策略部门副总监,走的时候还把GPT-3首席工程师Tom Brown等十几名员工一起带到了Anthropic。K51知多少教育网-记录每日最新科研教育资讯

导致他们选择出走创业的原因之一,就是OpenAI在安全问题尚未解决的情况下就直接发布了GPT-3,引发了他们的不满。K51知多少教育网-记录每日最新科研教育资讯

对安全的重视,加上创始人的背景,也让Anthropic成为了包括Jan Leike和这次离职的舒曼在内的OpenAI员工的主要去处之一。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

OpenAI这边最近在安全工作上也有所动作——K51知多少教育网-记录每日最新科研教育资讯

7月末,OpenAI把安全部门高级主管Aleksander Madry调离了安全岗位,并给他重新分配了“AI推理”的工作。K51知多少教育网-记录每日最新科研教育资讯

但OpenAI告诉媒体,Madry到了新职位上之后,仍将致力于人工智能安全工作。K51知多少教育网-记录每日最新科研教育资讯

CEO奥特曼也是强调,OpenAI一直都很重视安全工作,并坚持了“给整个安全团队至少20%算力”的承诺。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

但眼尖的网友很快发现,奥特曼玩了一波偷换概念,原来承诺的的是给超级对齐团队20%算力,被偷偷改成了全部安全团队。K51知多少教育网-记录每日最新科研教育资讯

所以,在奥特曼的推文之后,网友也是毫不留情地把这一背景信息添加了上去,并附上了当时OpenAI的官方链接。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

emm……互联网还是有记忆的。K51知多少教育网-记录每日最新科研教育资讯

One More ThingK51知多少教育网-记录每日最新科研教育资讯

在内部大量人才流失的同时,OpenAI的“老仇人”马斯克这边也有新的动作——K51知多少教育网-记录每日最新科研教育资讯

马斯克刚刚再一次把OpenAI告上了法庭,一同被告的还有奥特曼以及总裁Brockman。K51知多少教育网-记录每日最新科研教育资讯

这次起诉的理由是,马斯克认为自己参与创立OpenAI之时受到了奥特曼和Brockman的“欺骗和敲诈勒索”。K51知多少教育网-记录每日最新科研教育资讯

图片K51知多少教育网-记录每日最新科研教育资讯

马斯克称,自己当初参与并投资OpenAI就是因为相信了奥特曼的话,当时奥特曼承诺OpenAI是一个安全、开放的非营利组织。K51知多少教育网-记录每日最新科研教育资讯

但后来OpenAI成为了营利性组织,还把一部分股份卖给了微软,这让马斯克感到十分不满,认为自己遭到了背叛,痛斥奥特曼“背信弃义”。K51知多少教育网-记录每日最新科研教育资讯

马斯克的律师Marc Toberoff表示,此次诉讼和之前撤回的那起有很大差别,要求被告“对故意向马斯克和公众做出虚假陈述的行为负责”,并寻求“大规模追回他们的不义之财”。K51知多少教育网-记录每日最新科研教育资讯

同时,起诉书还要求撤销OpenAI对微软授予的许可。K51知多少教育网-记录每日最新科研教育资讯

参考链接:
[1]https://www.bloomberg.com/news/articles/2024-08-06/openai-co-founder-john-schulman-departs-for-ai-rival-anthropic
[2]https://www.cnbc.com/2024/07/23/openai-removes-ai-safety-executive-aleksander-madry-from-role.html
[3]https://x.com/sama/status/1818867964369928387
[4]https://www.documentcloud.org/documents/25031741-elon-vs-openai-again
[5]https://www.nytimes.com/2024/08/05/technology/elon-musk-openai-lawsuit.html
K51知多少教育网-记录每日最新科研教育资讯


K51知多少教育网-记录每日最新科研教育资讯

本文链接:http://knowith.com/news-23-489.htmlOpenAI高层巨变:三位核心人物同期离场

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

热点精选

最新推荐

您可能感兴趣