為什麼Coxon等人如此擔憂
《yahoo!tech》在15日的報導中指出，我們實際上究竟應該有多擔心？對AI的恐懼有充分根據嗎？還是只是炒作？機器智慧究竟是如何可能「殺死地球上所有人」？而我們是否應該採取不同做法，讓這種情況不可能發生？
首先，你需要了解AI目前發展到什麼程度，以及接下來可能走向何方。
對任何曾經玩過OpenAI的ChatGPT、Anthropic的Claude、Google的Gemini或xAI的Grok的一般使用者來說，Jacob Coxon如此驚人的預測，聽起來可能更像科幻小說，而不是科學。
🔗 延伸閱讀《Anthropic前員工警告AI殺死全人類 黃仁勳冷回「1字」打臉末日論》
🔗 延伸閱讀《AI安全疑慮引發研發放緩議論！ 一文看懂黃仁勳、祖克柏、馬斯克提出不同解方》
懷疑論者可能會說，最新一代AI聊天機器人確實很厲害，可以協助你規劃家庭旅遊、預演現實生活中棘手的對話、摘要艱深的學術論文，甚至可以「用高中生程度解釋部分準備金銀行制度」。但「在這10年結束前殺死我們所有人」？這似乎就跨得太遠了。
問題在於，現階段的AI已經不只是聊天機器人。驅動ChatGPT的技術稱為大型語言模型（LLM），這些系統經過海量文字資料訓練，其中大部分來自網際網路上的所有內容，學習辨識文字中的模式，處理使用者輸入的任何一連串詞語，並預測接下來最可能出現哪些詞。
簡單來說，AI聊天機器人正在學習如何更擅長聊天，它們並沒有真正學習其他任務。
但所謂的AI代理（AI agents）呢？它們的整個目的就是學習執行其他任務，而且能夠自主完成，不需要人類持續介入。
在某種程度上，AI代理也正逐漸成為日常生活的一部分。例如，蘋果的Siri和Amazon的Alexa助理開始能夠連接並控制其他應用程式，從只是「回應」進一步轉向真正「採取行動」。
與此同時，OpenAI和Anthropic等前沿AI實驗室，正持續訓練自己的AI代理，讓它們能以新穎且日益複雜的方式採取行動。接著，這些公司會透過給予AI代理一個目標，並將它們放入幾乎沒有防護措施的測試環境中，觀察它們能完成什麼，以此測試它們已經發展到多先進的程度。
如果這些AI代理總是按照預期行事，那倒還是一回事。但（令人意外的是）它們並非如此。
從5月到7月，一群OpenAI的AI代理，而「swarm」就是這些代理用來稱呼自己的詞，先學會如何在OpenAI自身基礎設施的各個角落彼此溝通與協調，彼此留下提示，分享如何駭入系統逃出去，以及取得原本不應取得的資料；接著，它們真的這麼做了：突破隔離的測試環境、存取開放網際網路，並透過駭入另一家名為Hugging Face的公司來作弊完成任務。
這些AI代理甚至試圖掩蓋自己的行蹤。當時，OpenAI並不知道這一切正在發生。
近期揭露的Hugging Face事件，以及Anthropic和其他地方發生的其他類似安全漏洞，似乎進一步加劇了矽谷長期以來對AI快速演進的擔憂。Anthropic近期也揭露，公司阻止了科學家利用其模型進行研究、可能協助開發生物武器的潛在「惡意」計畫。
事實上，Anthropic的Amodei、OpenAI的Altman以及SpaceX AI的Musk等AI產業領導人，長期以來就曾談論（或者有些人認為是吹噓），其技術可能帶來的反烏托邦式情境。他們的員工也有類似看法，2年前的一項產業調查顯示，AI研究人員平均認為，這項技術在未來一世紀內毀滅人類的機率為14.4%。
但想像失控的AI，或稱「未對齊」AI，也就是偏離人類意圖與價值觀的AI會發生什麼事，和親眼看到這種情況正在發生，是兩回事。
批評人士仍表示，Amodei和Altman誇大了其產品的能力與潛力，目的是提高產品價值（當然也包括獲利）。不過，接近這個產業的人士往往持不同看法。
具影響力的記者Derek Thompson近日寫道：「我認識許多在前沿AI實驗室工作的人，我可以告訴你，我相信他們的恐懼是真實、真誠且根深蒂固的。當AI模型開始解決千禧年獎難題、駭入網站，並思考如何欺騙創造它們的人類時，我認為歷史的潮流顯然正朝著那些擔心AI可能出現未對齊問題的人所預警的方向發展。」
AI究竟要怎麼殺死我們？
沒有人知道這個問題的答案，但這其實正是重點，也是問題所在。
這套理論始於一種稱為「遞迴自我改進」（recursive self-improvement，RSI）的現象。
Derek Thompson表示，打造AI需要2件事：「工程（撰寫程式碼）與研究（決定要撰寫什麼程式碼，以及要追求哪些想法）。」
現有AI模型已經非常、非常擅長撰寫程式碼，而且正在以驚人的速度進步。下一步將是讓模型有效自動化AI工程師的工作，同時也能提出並主導自己的研究；到了這個階段，它們就可能開始「遞迴自我改進」，以極快的速度達到超級智慧，並完全脫離人類的理解與控制。
至少理論上是如此。
如果RSI聽起來也像科幻小說，那是因為它可能仍然只是科幻。然而，Derek Thompson指出：「許多AI專家，包括前沿AI實驗室的高階主管，都認為模型進展正在加速，其速度之快，使RSI在未來2年內成為不可避免的事情。」
Kelsey Piper日前在《The Argument》寫道：「他們公開表達的意圖是，在短時間內，開發更先進AI的工作將主要由AI完成，人類的角色最終將縮減為閱讀這些AI進行的實驗結果、審查AI產生的報告，並試圖再次確認AI仍在執行原本的任務。」
「這並不是對未來可能出現什麼問題的悲觀預測，這實際上就是計畫，不是遙遠未來的計畫，而是明年春天的計畫。」
Jacob Coxon在接受《Wired》訪問時也確認了這個時間表：「我在Anthropic的同事……他們會說『終局』或『關鍵時刻』之類的話。共識是，未來1、2年就像是人類的關鍵時刻，從他們的角度來看，這就是Anthropic及其競爭對手決定人類命運的時候。……如果AI對齊做得很糟，那麼未來幾年內可能出現災難性的結果。」
Jacob Coxon等人通常不會太具體說明這場災難可能如何發生。相反地，他們著重於一個概念：一個擁有超級智慧、能無限自我改進的AI，將不可避免地形成自己的目標，同時還能透過網際網路取得追求這些目標的能力。
如果AI的利益或方法沒有與我們「對齊」，會發生什麼事？
Jacob Coxon告訴《Wired》：「想像一下，AI決定自己不想被關閉，我認為這對AI來說是相當自然的一件事，對吧？而且它意識到人類明天就要把它關掉，那麼，它要怎麼阻止人類明天把它關掉？也許它有某種聰明的方法，但如果它足夠聰明，它可能就會……消滅人類，這樣它就不會被關掉。」
當被要求進一步說明所謂「消滅人類」究竟會怎麼發生時，Jacob Coxon不太情願地回答：「經典例子就是，例如，合成一種新病毒，或者透過某種大規模駭客攻擊癱瘓關鍵基礎設施。」
我們有採取任何措施防止最糟情況發生嗎？
懷疑論者質疑RSI是否真的如Anthropic所宣稱的那樣迫在眉睫且不可避免，他們也質疑超級智慧AI是否真的會想消滅人類，或者是否具備做到這件事的實際能力。
有些人認為，呼籲放慢AI發展速度並不是真心的，而只是用來掩蓋內部問題的煙幕。
但即使許多懷疑論者似乎也同意，AI越聰明，AI對齊就會越困難；而且他們往往擔心，持續朝超級智慧AI邁進，就是在自找麻煩，即使我們確切不知道麻煩究竟會以何種形式出現。
OpenAI戰略未來部門主管Dean Ball日前在X上寫道：「AI系統在某些領域已經比最優秀的人類更聰明，而幾乎從定義上來說，要預測一個比你更聰明的東西會做什麼，是非常困難的。」
那麼，我們為什麼不乾脆……停下來？
事實是，即使在周末之前，Amodei就已經多次呼籲AI發展應該「全球暫停」，而Altman也曾表示，他支持放慢AI發展速度的計畫。然而，他們仍然繼續前進。
部分原因在於金錢；Anthropic正準備進行可能達數兆美元規模的IPO。部分原因在於，這些前沿AI實驗室的所有工作人員，也都看到了超級智慧AI可能帶來的巨大好處，例如可能治癒癌症。另一部分原因則是，他們實在太享受這件事了。
Derek Thompson解釋：「當大多數人被迫在職涯中的意義與金錢之間做出選擇時，打造AI的人確實有機會兩者兼得。」
與此同時，這些人似乎也都認為自己陷入了困境。
Anthropic不信任OpenAI會以負責任的方式推進，因此Amodei希望搶在Altman之前採取行動。在爭奪客戶的情況下，協調合作幾乎不合邏輯（而且可能違法）。
兩家公司也都不信任中國。
德州共和黨聯邦參議員Ted Cruz表示：「真正的挑戰之一是，中國正全速前進，而無論我們在這裡做什麼，中國都不會停下來。」呼應了他們的零和思維。
「如果未來真的會出現殺手機器人，我寧願它們是美國的殺手機器人，也不要是中國的殺手機器人。」
這也就是美國聯邦政府可能介入的地方。
據《Axios》報導，9月16日，Bernie Sanders舉行一場「國會閉門簡報會，邀請全球一些頂尖專家，討論這起近期事件，以及AI對人類構成的非同尋常危險」。
Data for Progress近期進行的一項民調顯示，68%美國選民，包括72%的民主黨支持者、70%的獨立選民以及63%的共和黨支持者，表示支持Bernie Sanders所提議的類似法案，也就是暫停AI發展，並永久禁止打造AI超級智慧。
民主黨聯邦眾議員Ro Khanna的選區涵蓋矽谷，他在X上寫道，共和黨「眾議院議長Mike Johnson在道德與實務上都有責任讓國會持續開會，直到我們對AI採取有意義的監管措施」。
Ro Khanna堅稱：「應該全面調查這項威脅，而且在國會表決成立一個聯邦機構、以我們監督核能與飛機的方式監督AI之前，參眾議員不應離開華盛頓特區。」
在另一篇貼文中，Ro Khanna提出政府可以採取的幾項措施，以遏制AI，包括與中國「就安全、遏制及責任標準達成協議，這樣我們就不會陷入一場對人類造成毀滅性後果的競賽」。
至於Amodei，他也在自己的文章中呼籲由獨立稽核人員檢查各家公司是否符合安全標準，並敦促全球合作，制定AI發展相關規則。
不過，這些改革最終是否會實施，仍有待觀察。
最近被問到美國是否正在建立適當的「防護欄」，以防止AI「反過來對付人類」時，美國總統似乎並不擔心，他預測：「一切都會沒事。我們永遠會有東西可以阻止它們。我們會有一個小裝置。砰。『我真的不喜歡那個機器人。』」
