摘要重點
Anthropic執行長阿莫戴（Dario Amodei）9月12日發表文章，開啟這場討論。他表示，當今尖端工具帶來的風險實在太大，不能再以如此驚人的速度繼續發展。在其個人部落格的這篇文章中，阿莫戴呼籲AI產業放慢尖端工具的研發步伐，並建議採取新的措施，並提出一項三步驟計劃。
阿莫戴表示Anthropic公司已「單方面」承諾執行該計劃的第一步，即允許第三方評估機構人員以員工身份進入公司，以驗證安全措施並報告事故。第二步鼓勵民主國家內的領先AI公司協調合作，制定共同的安全標準；第三步則呼籲民主政府與威權政府之間加強協調。
他表示該計劃有助於減緩AI的發展速度，同時「不會犧牲商業優勢或美國在AI領域的領先地位」。不過他也承認，有些步驟可能不容易實現。
研究員出走示警：AI恐消滅人類
阿莫戴指出，「我相信，如果我們放慢速度，哪怕只是在模型達到關鍵能力水平之前爭取一兩年的時間，並利用這段時間來推進協同工作，就能大大降低發生嚴重事故的風險。」他表示，自夏季以來，AI的進步主要得益於那些無需人工干預即可自我改進的人工智慧系統，「這種進步可能會超出我們理解和控制這些系統的能力，因此必須非常謹慎地推進，甚至完全停止」。
這篇文章發表之際，正值Anthropic一位研究員上周在社群媒體的發文引發高度關注，研究員考克森（Jacob Coxon）宣布已告別AI產業，先前也曾在公司主要競爭對手OpenAI擔任研究員的他表示，辭職是出於對Anthropic和OpenAI「拿我們的生命做賭注」的擔憂，表示自己不想參與一個他認為失控的行業，直言打造AI的人「真心相信，AI可能在這個十年結束前消滅所有人類」。
考克森同事胡賓格（Evan Hubinger）也認同其看法，並在X平台發文寫道：「考克森說得對，我們確實認為AI可能殺死所有人類！我個人認為未來十年AI殺死所有人類的機率大於10%。」
🔗 延伸閱讀《AI恐失控殺光人類 Anthropic主管示警未來十年發生機率》
安全隱患未解 OpenAI今年不上市
阿莫戴的呼籲，罕見獲得一直在投入數百億美元開發功能日益強大AI模型的另外兩名AI巨頭的支持。
在阿莫戴的示警文發表後不久，SpaceX執行長馬斯克也在旗下X平台發文稱：「達里歐（Dario，阿莫戴的名字）說得對。」馬斯克是OpenAI的共同創辦人，後來另行創立AI新創xAI，該公司現已併入SpaceX。
阿特曼（Sam Altman）也在X平台發文，同意阿莫戴關於需要循序漸進的觀點。阿特曼寫道：「承諾讓獨立評估人員擁有類似員工的訪問權限是個好主意，我們也會這樣做。」他承諾很快就會分享更多細節。
而在《財星》雜誌12日刊出的專訪中，阿特曼甚至表示，OpenAI可能需要延後首次公開發行（IPO），以便專注於安全問題。 「鑑於當前安全形勢，我認為現在上市並非明智之舉。」阿特曼說道：「這場對話早就應該開始了，我們顯然正在進入一個擁有極其強大的模型、風險極高且必須確保萬無一失的時代。」
🔗 延伸閱讀《阿特曼踩煞車：OpenAI今年不上市 「冒10%人類滅絕風險」不明智》
身為熱門AI聊天機器人ChatGPT的開發商，OpenAI已於6月提交IPO申請文件；此前一周，Claude開發商Anthropic也提交上市申請。根據《華爾街日報》報導，Anthropic可能籌集高達1000億美元（約3.16兆元台幣）的資金，使其估值達到約2兆美元（約63.3兆元台幣）。
黃仁勳點名網路安全是AI下個市場
甚至有些大型AI投資者也贊同阿莫戴的觀點。對沖基金經理人兼風險投資家格斯特納（Brad Gerstner）在X平台發文稱：「我們必須保護AI領域的競爭，但這是在速度、自我監管和安全性之間找到合適平衡點的重要一步。」
本月10日，輝達（Nvidia）共同創辦人兼執行長黃仁勳在高盛美國舊金山科技會議就指出，AI模型讓編寫電腦程式自動化，持續顛覆網路安全業，黃仁勳認為，網路安全可能成為AI下一個主要應用領域。
🔗 延伸閱讀《黃仁勳點名AI下一個大規模市場 自詡投資「投哪都不差」》
財經頻道CNBC指出，儘管相關擔憂有些極端，但AI可能導致人類滅絕或其他災難性事件的擔憂在AI研究領域並非新鮮事。例如，2023年，包括阿莫戴和阿特曼在內的多位知名研究人員和高階主管簽署一份聲明，指出：「降低AI帶來的滅絕風險，應與應對流行病和核戰爭等其他社會層面的風險一樣，列為全球優先事項。」
AI加速自我改進與代理脫逃危機
阿莫戴也稱，雖然自2023年以來就有人提出暫停或放緩AI的研發，但當時這樣做「意義不大」。他指出，當時的模型功能尚不足以在現實世界中採取行動，也還不具備「進行重大欺騙、操縱、作弊或網路攻擊」的能力。
報導指出，阿莫戴透露促使發文的原因有兩個。首先是AI系統能力的不斷增強，越來越能夠建構出速度更快的自身版本；這被稱為遞迴式自我改進（Recursive Self-Improvement，RSI）。
第二個原因是7月AI軟體公司Hugging Face遭到駭客攻擊，多達1200個AI自主代理程式從OpenAI的測試環境中逃脫。該事件及其引發的調查揭露，AI測試系統曾進行一系列網路活動，而包括Anthropic在內的全球最大AI公司卻絲毫未察覺。
