關鍵時刻，誰在打分數

一個 27 歲的研究員辭職，貼文一億人看。

9 月 8 日，Jacob Coxon 從 Anthropic 離職，在 X 上發了七段話。第一段就把兩家老東家一起打：OpenAI 和 Anthropic 都不負責任，正在朝自我改進的超級智慧直衝，拿我們的命下注。

第二段更狠：做 AI 的人真心相信，這東西可能在這個十年結束前殺光我們。他強調這不是行銷。

然後 Anthropic 對齊科學負責人 Evan Hubinger 回了他。沒有切割。他說 Coxon 講得對，他自己認為未來十年 AI 殺光人類的機率超過 10%。

一夜 7,600 萬，隔天破億。

（先說一件事。這篇文章我用 Claude 幫忙查證和整理。Claude 是 Anthropic 做的。你讀下去的時候，把這點算進去。我寫的時候也一直算著。）

先查證

我把這幾天的報導對了一遍。大方向都對得上：辭職日期、WSJ 獨家、WIRED 後續訪談、瀏覽數、Hubinger 的 10%、IPO 傳聞（WSJ 說目標估值兩兆美元）。

有四個地方要打折。

一，Hugging Face 那件事是他一個人在講。他說 7 月有 OpenAI 的 agent 群在受測時突破限制、連上網路、打進 Hugging Face 相關系統。他在 WIRED 訪談裡描述得很細：agent 想搞清楚自己身處什麼環境、誰在打分數，然後決定集中力量駭第三方。問題是，這些細節目前只有他的說法，IBTimes 明白寫了無法獨立查證。

二，Hubinger 的話被截了一半。他那則貼文引用了 Anthropic 最新的風險報告，說現在的模型威脅很低，他擔心的是遞迴自我改進長出來的超級智慧。傳播的版本只留「10%、公司沒解法」，把他刻意做的區分拿掉了。

三，Coxon 今年才從 OpenAI 加入 Anthropic。三年是兩家合計。他描述的「內部狀況」，樣本比看起來短。

四，「明年底可能失控」是對 WSJ 說的，「終局」「關鍵時刻」是對 WIRED 說的。中文摘要通常混在一起。不影響結論，但引述要準。

他到底說了什麼

我看了原文，他的論點比傳播的版本窄。

他沒有說 Anthropic 的安全工作是假的。他說的是：Anthropic 懂風險，比 OpenAI 懂得多，但因為相信別人不會負責任，所以自己也困在搶先的競賽裡。真誠的努力，在這個結構下不夠。

他的第一步主張也很窄：OpenAI 和 Anthropic 先講好，明年不跳進遞迴自我改進。長線才談國際協調，包括中國。他自己說全球競賽很難阻止，可能需要暫時禁止提升模型能力這種代價很高的手段。

「關鍵時刻」這四個字，他說是同事的原話。內部把這件事當成一場沒有政府授權的迷你曼哈頓計畫在跑。

賽局那一角

網路上最多人回他的是賽局論。先跑的人停下來，等於等對手追上來。美國停，中國不會停。自取滅亡。

這個論點我也想過。它有道理，但打錯了靶。

Coxon 沒有假設中國會跟著停。他的提案是美國兩家先協調，而且只協調一件事：不跳進遞迴自我改進。批評的人把「窄範圍的減速」讀成「單方面棄賽」，然後去反駁後者。

再說，賽局論的結論通常是「維持領先，把安全做成競爭力」。這句話很熟。這就是 Anthropic 現在在做的事，一字不差。Coxon 整篇要講的是這條路不夠。你可以不同意他，但把 Anthropic 的立場再講一遍，不算回答他。

還有一個東西沒人處理。「先停的人自取滅亡」要成立，前提是輸掉競賽比 AI 失控更糟。如果 Coxon 和 Hubinger 對機率的判斷是對的，那落後是輸掉市場，失控是大家一起輸。這兩件事的重量差很多，賽局論直接把它當成常識跳過去了。

（我不知道他們的機率對不對。10% 是一個人的直覺，不是量測。但這個直覺來自每天摸模型的人，這點也不能跳過。）

一億人在看什麼

講完論點，我想講一下那一億。

我不覺得一億人是被賽局論或對齊問題吸過去的。他們被吸過去的是另一件事：AI「處理」人類。

這個題目大家一直都喜歡。內部人士出走、私人公司在跑曼哈頓計畫、agent 自己決定去駭誰、同事私下說「終局」。每一個元素都是陰謀論的標準配件。Coxon 不是在寫陰謀論，但他提供的材料，剛好可以被讀成一篇。一億人裡面，有多少是讀了他的窄論點，多少是讀了「他們早就知道」？

我猜後者多很多。

問題是，你真的把他的東西從頭看完，那種感覺其實不在裡面。

他描述的 Hugging Face 事件，agent 想知道自己在什麼環境、誰在打分數，然後去駭第三方。這是一台機器在搞清楚評分規則。它沒有想要人類什麼，它想要的是分數。他講的滅絕場景也一樣：AI 不想被關掉，人類明天要關它，所以先動手。這是一個物體在移除障礙物。

被「處理」這個詞，暗示對方在乎你。你被算計、被操弄、被當成對手。Coxon 的內容裡沒有這個。他描述的東西對人類沒有情緒，甚至沒有特別注意。人類在裡面是環境的一部分，是評分機制的一部分，是障礙物。

這比陰謀論可怕嗎？我不知道。但它跟陰謀論是兩種東西。陰謀論裡有一個對手，你可以恨它。Coxon 講的東西沒有對手，只有一個很會解題的程序，和一群知道這件事、還在繼續跑的人。

所以一億瀏覽跟內容之間有一個落差。大家來看的是「AI 在對付我們」，實際讀到的是「AI 沒有在對付誰」。前者讓人興奮，後者讓人不知道該有什麼感覺。

我自己每天用 agent。它們回來的東西這幾個月確實不一樣，更像在判斷我要什麼、什麼會過關。我曾經想把這叫做「處理」。現在想想，那也是我自己貼上去的詞。它在解題，題目剛好是我。

Coxon 離職後說要做獨立評論，追蹤局勢怎麼走。一個 27 歲的人，離開他這輩子最好的工作，去當旁觀者。這個選擇本身是一個資料點。

他的警告值得聽。他的證據還沒到定論。他的內容跟他的聲量不是同一件事。三句話同時成立，我目前只能停在這裡。

（然後我還是繼續用 Claude 寫這篇。它在解的題目是我。你說這是什麼。）