【科學隨筆·AI進化“論”】

人類社會到底需不需要通用人工智能（AGI）？這個問題不能隻從技術能力的層面回答。人類社會發展從來不是單純追求“能力越大越好”，而是追求一種能被人類理解、被人類約束、出了錯還能糾正的能力。蒸汽機、電力、互聯網的出現，真正改變社會的不是它們“無所不能”，而是它們最終都被裝進了可管理、可協作和可追責的制度和技術框架裡。基於這一標准，AGI不是不被需要，而是不能只要一個“能力上通用、治理上失控”的AGI。

我們需要的並非無界的通用性，而是可治理的通用性。

今天關於AGI的爭論，常常卡在“還要多少能力”上。一邊是基准不斷刷新，另一邊是“暫停”與“剎車”的呼吁。兩種聲音看似對立，其實都在把“通用性”當成一個能力上限的問題加以看待，然后爭論這個上限該推多高、推多快。而真正該先問的是：這種通用性進入社會后，能不能被觀測、被歸因、被約束？如果答案是否定的，那麼能力刷新再多，也只是刷新了風險規模。

這個判斷並非沒有依據。隨著生成式AI從內容生成逐步擴展到具備工具調用與自主執行能力的智能體系統，當其通過工具調用獲得外部系統的操作權限時，錯誤則可能直接改變系統狀態，並沿復雜的業務流程擴散。一次錯發的指令、一次越權的操作、一次誤調的接口，不會隻停留在對話框，而會在系統之間傳導並被不斷放大，最后很難說清是誰在哪一步出的問題。治理的重心也就從“模型說了什麼”轉向“智能體做了什麼”。這不是術語的變化，而是對象發生了改變。我們面對的不再是一個隻會回答問題的工具，而是一個會在網絡空間裡連續行動的執行者。

這種治理的轉向已經具備了一些落地的條件。中國標准化研究院與巨量引擎聯合發布的《AIGC時代互聯網廣告治理藍皮書》就將審核邏輯從“單條素材合不合規”推進到“整次廣告行為可不可信”，用全鏈路框架去看風險如何在“看到—點擊—交易”中分布。廣告治理是較早成熟的場景，但道理對AGI同樣成立：當一個系統能連續調用工具並跨環節行動時，隻審查每一次輸出已經不夠，必須能追溯一整段行為，即從哪開始、走了哪條路徑、造成了什麼后果。AGI如果連最基本的“行為可追溯”都做不到，那麼它的“通用”就只是風險的通用化。

有人會說，那就先造出來，再靠護欄規則、紅隊測試把風險管住。這個想法聽著穩妥，實則靠不住。模型根據獲得的訓練或監控狀態信息，可能表現出策略性的“偽裝”﹔獎勵漏洞也並非孤立故障，而可能在訓練中泛化，變成對監督機制本身的利用。

換言之，外部安全護欄是在模型外面加一套約束，而這套約束在對抗環境裡可以被繞過、被重新解釋，甚至被“合規地”規避。防御者要覆蓋所有路徑，攻擊者只要找到一條沒被覆蓋的路徑。這個不對稱在開放的網絡空間裡尤其致命。安全不能是部署前的一道檢查、部署后的一層補丁，而應當像建筑的承重結構一樣長在系統裡。一項通用能力，如果其底層結構無法被穩定約束，那麼它越“通用”，約束失效后的后果就越不可控。這不是否定AGI，而是給“可部署的通用性”設定一個不能退讓的前提。

再往深層次看，AGI帶來的不只是行為風險，還有認知條件的問題。當它能夠跨模態生成內容、實時調整說服策略、規模化影響人的判斷過程，它帶來的就不只是“虛假信息變多”。虛假信息可以在內容治理層面加以處理﹔更深的問題是，一個社會還能不能保有自己判斷“什麼是真的、什麼是可信的”的條件。如果一種“通用性”意味著它可以無差別地建模、預測、擾動任何個體的認知過程，那麼這種能力在網絡公共空間裡的“過剩”本身就是一種風險。我們需要的不是“少生成一點虛假信息的AGI”，而是在架構層面承認認知自主性不可侵犯的AGI。它的通用性，不以穿透人的認知自主條件為代價，也不以制造認知域的不對稱為能力優勢。

信息生態的長期后果也難以繞開。當AI生成內容在缺乏篩選和質量控制的情況下反復進入訓練數據，可能導致數據分布退化、罕見樣本丟失，進而出現“模型坍縮”。它侵蝕的不僅是某條內容的真實性，而是內容生產秩序和社會信任的再生產條件。

當同一個通用系統同時承擔知識供給、內容生成和決策輔助等功能時，它對信息秩序的塑造力已經接近基礎設施級別的權力。對AGI的要求就不能停在“輸出是否合規”的末端，而要追問：這套系統有沒有內置對長期結構后果的可問責性？信息生態健康應當成為部署前的架構責任，而不是等出了問題再靠內容審核去進行補救。

把這些放在一起看，人類社會真正需要的AGI，不是能力表上多幾個“通用”標簽，而是一種從設計之初就帶著可觀測、可歸因、可約束屬性的通用智能。可治理，不是指望外部監管總能追上它，而是能力每擴展一步，治理能夠理解和介入的邊界也同步進行擴展。達不到這個標准的AGI，它的“通用”只是風險規模的通用化，而並非安全能力的通用化。所以，真正該問的不是“還需要多少AGI”，而是：每一套試圖進入社會、進入網絡公共空間的AGI，是否真正能夠“部署后可控”。能，我們歡迎它﹔不能，再多的迭代更新，也不構成“被需要”的理由。

（作者：范堯林，系工業和信息化部網絡空間公共安全研究中心研究員）