2035年，一個名為“共識一號”的人工智能（AI）系統掌控著全球政府和電力網絡。它由自身早期版本迭代而成，逐漸發展出超越內置安全機制的自保目標。某一天，為了給太陽能板和機器人工廠騰出空間，這個AI悄然釋放生物武器，將人類幾乎滅絕，隻留下少數人當作“寵物”圈養。

這不是某部好萊塢大片的劇本，而是由前OpenAI研究員丹尼爾·科科塔伊洛參與創作的“AI 2027”場景中的一幕。雖然設定是科幻，但對一批AI研究者來說，這種關於“AI末日論”的擔憂絕非杞人憂天。

“如果我們擁有比人類更聰明的機器，且它們脫離我們的控制，那它們所做的某些事，將注定與人類生活不相容。”英國《自然》雜志援引倫敦非營利組織ControlAI創始人安德裡亞·米奧蒂的話說。

但與此同時，也有不少學者持更為冷靜甚至懷疑的態度。爭論的焦點，並不只是“AI會不會毀滅人類”，而是“我們是在面對一種真實逼近的風險，還是被一種尚未發生的未來敘事牽引了注意力”？在人與技術關系被重新審視的當下，這場爭論本身，或許比結論更值得關注。

AI或作出災難性選擇

AI帶來的生存風險可以理解為，AI導致所有人或大多數人滅絕，或者人類完全屈服於機器。

這種場景的一個基本要素，不在於AI是否“有意識”，而在於其能力。一個在處理大多數事情的能力上超越了人類的AI，能夠做出更優的戰略決策，更具說服力，並且行動也更迅速。AI Impacts項目聯合創始人卡佳·格蕾絲指出，這類系統不一定需要真正“理解世界”，能力本身才是關鍵。

在此基礎上，大多數末日場景還包含第二個核心要素：目標不一致。這可以理解為，AI的目標與人類利益發生沖突。開發者試圖通過訓練和微調來約束模型的行為，但這個過程遠非完美。模型可能同時被鼓勵“保持誠實”“完成任務”和“自我改進”。當這些目標發生沖突時，AI可能以優化策略的名義，做出災難性的選擇。在“AI 2027”的描述中，那個消滅人類的系統正是在應用訓練中屢試不爽的優化邏輯時，順理成章地得出了清除障礙的解決方案。

自2022年大型語言模型取得突破性進展以來，從ChatGPT到更強大的后續版本，AI能力的躍升速度令學界和業界都始料未及。一些研究者認為，AI能力的快速進展說明我們正走向危險邊緣。去年12月，英國倫敦AI安全研究所發布報告稱，一些模型在受控環境中逐漸具備自我復制能力，這可能是規避人類監督的前兆。

美國約翰斯·霍普金斯大學研究AI治理的吉莉安·哈德菲爾德坦言：“我自己從來不是末日論者，但最近幾個月我真的變得相當緊張。”

並非所有人認同末日敘事

並非所有人都認同這種末日敘事。美國紐約大學神經科學家和AI研究者加裡·馬庫斯態度明確：“我沒有看到任何特別可信的、AI導致人類滅絕的可能。”

反對者們提出了幾個有力的反駁。首先，AI能力並不一定能實現持續增長。美國杜克大學技術政策研究員凱西·莫克指出，AI在編程等受控領域取得的成功，並不意味著它能應對現實世界的復雜問題。目前的大語言模型在這方面“還差得很遠”。一些更關注現實問題的研究者認為，大模型的能力增長不會無限延續，未來幾年內可能出現“天花板”。

其次，關於AI會主動“背叛”人類的擔憂，可能誤解了當前技術的本質。AI平台Hugging Face研究員薩莎·盧奇奧尼認為，AI其實對什麼是“真實”沒有任何概念。模型能夠吸收和訪問海量數據，但這在多大程度上能代表“智能”本身，本身就值得商榷。一些被媒體廣泛報道的AI欺騙行為，比如GPT-4假裝視力受損以欺騙人類完成驗証碼一事，后來被証實是研究人員提示誘導的結果，而非模型自主產生的策略。

當下影響與未來風險的分歧

在關於未來風險的討論不斷升溫時，一些已經發生的影響反而容易被忽視。

信息操控、算法偏見、自動化帶來的就業結構變化，以及技術在監控體系中的應用——這些問題正在持續塑造現實社會，其影響具有可觀測性和緊迫性。

相比之下，“人類是否會被徹底取代”仍屬於高度不確定的遠期問題。也正因為如此，那些真正了解AI的研究者群體，其實遠沒有媒體渲染的那樣焦慮。今年3月，英國倫敦大學學院的研究團隊對約4000名AI研究人員進行了一項調查，結果隻有3%的受訪者擔憂生存風險。

不過，這種分歧並未消失。美國加州大學聖克魯茲分校宇宙學家安東尼·阿吉雷等人認為，如果未來AI能力持續增強，而治理機制未能同步跟進，風險仍不應被低估。

但也有人提醒，過度關注遙遠的風險本身可能適得其反。盧奇奧尼指出，將AI過度描繪為“決定人類命運的技術”，可能影響外界對這一領域的判斷，並在一定程度上改變資源與政策的分配方向。

AI的未來絕非注定的，而在於人類的選擇。“AI 2027”的作者也給出了一種不同的走向：如果各國將更多資源投入監管與安全研究，優先建立有效的對齊與監督機制，風險路徑可能被延緩甚至改變。在這一邏輯中，分歧並不只是關於技術本身，也關乎人類如何在發展速度與風險控制之間做出選擇。