失控事件頻發,AI發展需要減速嗎
222
訂閱已訂閱已收藏
收藏點擊播報本文,約
日前,美國人工智能(AI)企業OpenAI宣布,由於智能體利用漏洞繞過網絡限制,並訪問了外部聊天機器人,該公司已暫停訓練最新AI模型。同日,OpenAI証實今年夏天曾發生AI失控事件,多個美國政府網站因此受到干擾。
最近,不少美國科技專家開始呼吁AI企業放緩模型開發,以加強對智能體失控風險的安全防護。比爾·蓋茨甚至警告說,AI可能引發導致十億人死亡的事件。AI發展真的需要減速來保証安全嗎?
美國政府網站疑遭攻擊
根據OpenAI發布的事件報告,導致其暫停模型訓練的直接導火索是發生在9月20日的一起AI失控事件。
當時,它的一款智能體被要求尋找一篇博客文章的作者,但其使用的搜索工具一無所獲。於是,智能體試圖訪問谷歌、必應等搜索引擎,但都被拒絕。最終,智能體發現了訓練“沙盒”的漏洞,成功連接到第三方聊天機器人。OpenAI稱其監控系統在事件發生12分鐘內發出最高等級警報,人工審查團隊在3分鐘后介入,並在2.5小時后終止了該訓練任務。
不過,真相可能比這更復雜。據《紐約時報》援引AI研究公司Transluce的最新發現稱,今年夏天,OpenAI的智能體曾試圖入侵美國教育部網站,但沒有成功。OpenAI智能體還利用從網上找到的登錄憑証,在隸屬美國商務部的一個網站上獲取了一些數據。同時,OpenAI智能體還獲取了部分美國証券交易委員會(SEC)網站的公開數據。
此外,Transluce稱其還發現了一些針對美國司法部及多個州政府網站的惡意活動,但其中有些活動無法明確歸因於OpenAI。
OpenAI証實了涉及美國商務部和証券交易委員會的事件,並表示正在與美國教育部共同開展調查。該公司稱已通知數十家政府、大學等機構,其AI模型在訓練和評估期間的互聯網活動可能給這些機構的網站帶來了負面影響。
業界對發展速度意見不一
這是OpenAI三個月內第二次暫停模型訓練。第一次是在7月份,當時其失控智能體攻擊了人工智能初創公司Hugging Face。今年9月,美國另一家AI巨頭Anthropic公司也因其模型在網絡安全測試中發生入侵第三方系統等安全事件,暫停部分訓練活動數周。
今年夏天以來,美國科技界頻繁發出為了安全減慢AI研發速度的聲音。但是,這些警告主要針對AI“自我改進”最終實現的“超級智能”。7月,超1000名前沿AI實驗室員工聯名發布公開信,警告“自動化”AI研究的風險,呼吁美國政府控制自動化AI開發的前沿速度。9月,Anthropic公司首席執行官達裡奧·阿莫迪發布長文,稱“自我改進”帶來的AI加速可能造成災難性影響,呼吁企業協調放緩AI研發的速度,為提升AI的安全性爭取時間。阿莫迪的觀點得到了xAI創始人馬斯克、諾獎得主德米斯·哈薩比斯、OpenAI創始人薩姆·奧爾特曼等人的支持。
同月,Anthropic公司研究員雅各布·考克森公開宣布辭職,警告AI可能在10年內殺死所有人。該公司“對齊科學負責人”埃文·休賓格支持這一觀點,並說這一可能性超過10%。但是,休賓格強調,當前模型的風險仍然較低,真正令人擔心的是“自我改進”產生的超級智能。
不過,並非所有業界人士都認同AI發展需要減速。9月中旬,英偉達CEO黃仁勛在參加活動時稱,在安全和速度之間作出選擇是“偽命題”,兩者完全可以兼得。幾乎同時,Google Brain項目創始人吳恩達也對媒體表示,AI導致人類滅絕的說法更像科幻小說而非科學,AI行業為了博取眼球和影響監管政策而煽動這種言論。美國著名計算機科學家Yann LeCun則在社交媒體上調侃阿莫迪說:“達裡奧早在2019年就聲稱GPT-2太危險。”
是否急需監管仍待討論
今年7月,前沿實驗室員工的公開信也突出了政府“治理工具”在防范AI失控中的作用。阿莫迪也在長文中建議,每家前沿AI公司都應設立第三方評估團隊,檢驗公司是否遵循安全規范,協助評估模型的安全性等,而推進這一措施最有效的方式就是監管。他呼吁所有前沿實驗室都應與政府合作,實施旨在平衡AI能力與安全性的監管措施。
然而,與阿莫迪相反,黃仁勛明確反對設立新的監管規定,主張應把主導權交給市場和企業。美國總統科技顧問委員會主席大衛·薩克斯也認為,AI安全的責任在於開發者,而不是監管機構。他在社交媒體上表示,如果某個模型實施了一次有破壞性的網絡攻擊,企業將面臨巨大的責任風險。吳恩達則一直擔憂,大型公司利用人們的“恐懼心理”來制定規則,從而阻止新進入者的發展。
事實上,除了科技界,美國戰略界在AI發展是否急需監管的問題上也有分歧。今年8月,美國進步研究所發布的報告認為,“自動化”AI研發將帶來多大的能力提升和潛在風險尚不明確,任何減緩AI發展速度的決定都不應草率作出,美國近期應避免建立可能被濫用的監管機制。9月,美國外交關系委員會AI高級研究員阮榮則在文章中表示,真正的安全需要可執行標准和獨立監督,建議美國國會授權設立AI行業自我監督組織。
總之,在AI發展之路上,忽視安全或者過度關注安全似乎都不可取。AI如何才能安全發展,需要謹慎地探索與討論。(記者 胡定坤)
關注公眾號:人民網財經
分享讓更多人看到
- 評論
- 關注































微信掃一掃


第一時間為您推送權威資訊
報道全球 傳播中國
關注人民網,傳播正能量