27歲的考克森是專職藉由提供大量資料訓練新AI模型的研究員,他周二(8日)宣布將離開Anthropic,原因是不想加入席捲整個AI產業的熱潮,打造能自我改良的AI系統。考克森表示,這類系統可能逐漸失控,最終消滅人類。
考克森透露,今年稍早從OpenAI跳槽至Anthropic,是因為Anthropic以重視模型安全聞名。不過,考克森如今認為,如果政府未介入,整個產業也未協調放慢腳步,沒有任何一家公司能以負責任方式,開發許多工作表現優於人類的AI。
考克森說:「打造AI的人確實認為,AI可能在這個十年結束前消滅所有人類。」
胡賓格:Anthropic無因應計畫
這番言論引出Anthropic校準科學主管胡賓格,胡賓格認為考克森的說法「正確」,並透露Anthropic未因應這種情境擬定計畫。
胡賓格在社群媒體X上說:「考克森說得對,我們確實認為AI可能殺死所有人類!我個人認為未來十年AI殺死所有人類的機率大於10%。」
🔗 延伸閱讀《強調CP值!Anthropic推Claude Fable 5.1模型 成本更低誤報更少》
川普政府採取寬鬆監管策略
Anthropic未立即就考克森離職置評,該公司執行長阿莫戴(Dario Amodei)和其他高階主管曾多次警告AI模型可能失控,呼籲業界放慢開發腳步。
考克森、OpenAI首席科學家帕喬基(Jakub Pachocki)和阿莫戴日前與1000多名AI研究員簽署聲明,呼籲全球政府聯手建立機制,以在需要踩剎車以控制能自我改良的模型時放慢AI開發速度。目前美國未就AI制定聯邦法規,川普政府為將AI經濟效益最大化優先採取寬鬆策略。批評人士認為,這種環境可能催生大規模網路攻擊或帶來其他傷害。


