又一OpenAI研究員離職！不相信OpenAI能造福世界，AGI使命無比困難

新智元報道

編輯：靜音

【新智元導讀】OpenAI治理研究員Richard Ngo宣佈離職。近來，OpenAI中專注於AI安全的員工接連出走，Ngo是最新的一位。

就在剛剛，OpenAI治理研究員Richard Ngo宣佈離職。

Ngo表示，他對過去一年裡發生的事件有很多未解的問題，這使得他更難相信自己的工作能在長期內造福世界。他逐漸意識到，想要實現OpenAI的使命——讓AGI良好發展，是多麼困難。

Ngo自2021年起加入OpenAI，之前曾在Google DeepMind擔任AI安全研究員。

近來，OpenAI中專注於AI安全的員工接連出走，Ngo是最新的一位。

OpenAI研究科學家、德撲之父Noam Brown送上了祝福。

前OpenAI員工（今年8月離職）回憶道，自己是通過Ngo「AGI安全基礎」課程才接觸到AI安全的，並祝他未來一切順利。

離職信全文

大家好，我決定離開OpenAI（生效日期爲星期五）。

在過去的三年裡，我一直在Miles的領導下工作，因此在他離開之後，很自然，我似乎也該離開了。沒有一個單一的主要因素促使我做出這個決定。

對於過去一年發生的事情，我依然有很多未解的問題，這讓我更難以相信我的工作能長期爲世界帶來正面影響。我也一直感覺自己更傾向於公開地進行更多的迭代，並與更多合作者一起探討多種研究方向。

接下來的幾個月裡，我打算主要進行獨立研究，內容包括AI治理和理論性AI對齊問題的結合，然後再看看未來的方向如何。

儘管經歷了許多波折，我真的很享受在OpenAI的時光。我有機會參與許多令人着迷的議題，包括預測、威脅建模、模型規格和AI治理，並與一羣不斷創造歷史的、卓越的人一起工作。

當我面對那些新加入公司的成員時，我很難向他們傳遞OpenAI最初的雄心壯志：設定了讓AGI良好發展的使命。

雖然「發展AGI」這一部分的任務似乎已在正確軌道上，我（和其他人）卻逐漸意識到，想要對「良好發展」這一部分的任務作出積極貢獻，遠比預期的要困難得多，特別是需要預防它對人類生存的威脅。

部分是因爲預測未來本身就很困難，同時由於AGI前景的巨大規模，容易放大人們的偏見、合理化和部落主義傾向（包括我自己）。

無論好壞，我預計風險將會繼續加大，因此我希望你們都能以正直、深思熟慮的態度，以及清晰的判斷，來應對你們（以及OpenAI）在這些風險中的角色，明確何時以及如何做出的決定才能真正服務於我們的使命。

長期深耕AI安全

繼許多專注於AI安全的員工離職OpenAI後，Richard Ngo的離職特別具有象徵意義。

要知道，他是AI安全社區中一個有影響力的聲音，自2018年以來一直致力於AI安全研究——而ChatGPT是在2022年底纔開始風靡全球。

他是論文《The Alignment Problem from a Deep Learning Perspective》的共同作者，該論文已在ICLR上發表。

論文地址：https://arxiv.org/abs/2209.00626

他還收集了很多網絡上的學習資料，編成了一系列「AI Alignment」的課程。

課程地址：https://course.aisafetyfundamentals.com/alignment

Ngo還是一個非常具有人文氣息的科技從業者。這也不難解釋他對OpenAI初心的堅守，以及對AI安全未來的擔憂。

他在劍橋大學獲得了機器學習哲學的哲學博士學位（2020–2021），並在同校獲得了計算機科學的哲學碩士學位（2017–2018）。此外，他還在牛津大學獲得了計算機科學與哲學的文學學士學位（2014–2017）。

他還在博客裡撰寫「AI Autofiction」（AI自傳小說），在其中描述了從未來AI的角度來看世界可能是什麼樣子。

博客地址：https://www.narrativeark.xyz/t/ai-autofiction

AI安全員工出走潮

近來，許多專注於AI安全的員工都先後離職OpenAI。

OpenAI七年元老、安全副總裁Lilian Weng，於上週宣佈離職。

OpenAI六年元老、研究主管Miles Brundage，同時也是Ngo的上司，於上個月離職。

再往前追溯，今年早些時候，OpenAI的超級對齊共同負責人Ilya Sutskever和Jan Leike也離開了公司。

Leike曾表示，「OpenAI的安全文化和流程已被耀眼的產品所取代」。

許多其他專注於安全的員工，包括William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等，也都相繼離職。

參考資料：

https://x.com/RichardMCNgo/status/1856843040427839804

https://www.transformernews.ai/p/richard-ngo-openai-resign-safety