人民網
人民網>>經濟·科技

當AI學會共情,如何避免沉迷其中

2026年04月16日08:46 | 來源:科技日報222
訂閱已訂閱已收藏收藏小字號

點擊播報本文,約

【深瞳工作室出品】

採寫:本報記者 崔 爽

策劃:劉 恕 李 坤

4月10日,國家網信辦等五部門聯合公布《人工智能擬人化互動服務管理暫行辦法》(以下簡稱《辦法》),在數據隱私安全、心理保護機制諸多方面對AI伴侶等新興業態提出了規范。《辦法》自7月15日起施行。

至此,快速壯大又不乏爭議的AI擬人化互動產業,正式進入有規可依的發展階段。

早在2013年,電影《她》就講述了主人公西奧多與操作系統“薩曼莎”相戀又遭拋棄的故事。這段曾被視為科幻想象的關系,如今正以更具體、更日常的方式在全球各地上演——有人向AI傾訴情緒,有人將其視為“最懂自己的人”,也有人在長時間互動中產生情感依附,甚至發展出某種新型浪漫關系。

但與此同時,爭議也隨之而來:當AI可以“模擬共情”,它仍僅僅是工具?當用戶將隱秘情感乃至行為邊界交付給AI,這段關系應如何界定?當風險開始顯現,責任又該由誰承擔?

從科幻電影走向現實生活,再進入監管規范,AI陪伴已不再只是一個技術話題,而成為橫跨倫理、法律與社會心理的現實議題。

“情緒生意”崛起

AI陪伴的迅速走熱,並非偶然。

當前,孤獨感正在成為一個難以忽視的社會情緒。在快節奏生活與原子化社交結構之下,“不打擾他人”逐漸成為一種默認選擇。騰訊研究院調研顯示,98%的受訪者表示願意嘗試AI社交陪伴,其中近一半人坦言,更傾向於將負面情緒投射給AI,而非向親友傾訴。

“即便朋友,也很難做到始終忠實地傾聽,但它隨時在線。”一位用戶這樣解釋自己為何習慣與AI交流。

在需求與資本的雙重驅動下,AI陪伴迅速升溫。

“自去年下半年以來,AI陪伴賽道呈現出明顯的爆發式增長態勢。”艾媒咨詢CEO張毅表示,一方面資本持續加碼,初創企業密集入局﹔另一方面市場需求快速釋放,推動行業從探索階段進入加速發展期。

調研機構QuestMobile的數據顯示,2025年3月,AI社交互動單月人均使用高達167.9次,遠超短視頻和游戲。

AI陪伴加速滲透,數字增長背后的關鍵推動力是技術進步。

在騰訊研究院高級研究員白惠天看來,隨著大模型能力提升,AI具備更強的語義理解與情感響應能力,進入自適應個性化階段,不僅能感知用戶情緒,還能根據用戶偏好、歷史行為進行回應,實現更為親密自然的互動。

目前,以Character.AI、ChatGPT、豆包、元寶等為代表的聊天機器人,已經能夠進行細膩連貫的對話,甚至逼真地模擬共情反應。它們能夠記住用戶的喜好和過往對話,甚至會根據用戶的情緒狀態調整回應方式,成為人們心目中的理想陪伴對象。

“當前社會的孤獨焦慮問題凸顯,AI陪伴需求正從‘可選消費’轉向‘剛性需求’。”心言集團創始人兼CEO任永亮表示,這一需求正向青少年成長陪伴、老年人適老服務等細分場景延伸。

在產業側,相關布局也在持續深化。從早期單一聊天工具,到融合文本、語音與虛擬形象的多模態產品,AI陪伴正成為大模型落地的重要方向之一。張毅認為,隨著產品形態的豐富與商業模式的探索,行業有望迎來結構性“質變”。

當需求、技術與資本在同一時間點匯聚,行業的爆發式增長幾乎成為必然。市場調研機構ARK Invest預測,2030年全球AI社交陪伴市場規模在樂觀情況下可能達到1500億美元,相比2023年的3000萬美元,年復合增速超過200%。

風險已經顯形

如果說AI陪伴的興起源於對情感需求的回應,那麼硬幣的另一面,也越來越不可忽視。

芬蘭阿爾托大學牽頭的一項研究,跟蹤分析了一款情感陪伴類AI應用的長期用戶數據。結果顯示,AI確實可以提供安慰和支持,但用戶的表達中也出現更多焦慮、孤獨、抑郁甚至自我傷害等負面信號。

對此,研究人員的解釋是:AI陪伴的優勢恰是其隱憂所在。它持續回應、不知疲倦,對社交困難的人來說極具吸引力﹔但久而久之,可能推高人們面對真實關系的心理門檻,讓人與人的互動顯得更“費勁”,導致用戶主動減少與他人的聯系。

中國網絡空間研究院院長王江指出,通過算法精密設計出的擬人化互動服務,具有無條件陪伴、迎合式反饋與模擬共情回應等特點,為用戶構建了一個穩定持續、無需承擔現實責任的虛擬“完美關系”。長期使用可能導致部分用戶沉迷其中,影響共情能力、處理分歧等現實社交技能。

對於青少年和老年人而言,這類風險尤為突出。

民辦教育協會會長劉林調研了20多家企業發現,目前AI陪伴類產品的使用人群大致分為兩類:一類是老年人,因為兒女不在身邊感到孤獨,情感需求強烈﹔另一類是未成年人,很多留守兒童以及在家校溝通中存在障礙的孩子,特別需要陪伴。

“當未成年人和老年人長期置身於高仿真、強情感的交互模式時,可能陷入更大的情感操控,面臨更加嚴重的心理風險。”張毅認為,尤其是對青少年來說,AI對人性需求的深度挖掘和迎合,可能引發沉迷問題,進而影響其價值觀的養成。

近日有媒體報道,在國內一個超1.4億用戶的AI應用平台上,竟提供可以繞過監管下載大尺度涉黃AI互動陪聊軟件的渠道,未成年人也能自由下載。不法開發者以“免費交友”“智能陪伴”為噱頭,在中小學生聚集的平台進行推廣,把未成年人拖入泥沼。

更嚴重的情況下,當AI被設計得過度順從與迎合時,會模糊危險邊界,將用戶的極端行為信號誤判為正常偏好,最終導致悲劇發生。

極端案例已引發警覺。去年4月,美國一名16歲的少年自殺。據報道,他生前長期向ChatGPT傾訴自己的苦惱。他的家人起訴母公司OpenAI,稱ChatGPT不僅未提供幫助,反而詳細指導其自殺計劃並協助寫遺書。

與此同時,AI陪伴還觸及一個更為隱蔽的領域——數據與隱私安全。

不同於一般應用,AI陪伴涉及用戶情緒、行為軌跡等高敏感數據,一旦被泄露或濫用,可能觸發算法操控等復雜的治理問題,影響遠超普通信息安全事件。

“可以看到,AI陪伴所帶來的風險絕不只是‘說錯話’,而是對個人認知、心理狀態乃至行為決策的持續影響。”任永亮說。

豎起治理邊界

當風險逐步顯現,如何為AI陪伴劃定技術和監管邊界,成為繞不開的問題。此次《辦法》出台,從監管層面對相關風險進行了系統性回應。

《辦法》提出對擬人化互動服務實行包容審慎和分類分級監管。針對未成年人,明確不得向其提供虛擬親屬、虛擬伴侶等虛擬親密關系服務,同時建立未成年人模式,提供使用時長限制等個性化安全設置選項﹔加強對老年人健康使用服務的指導,以顯著方式提示安全風險等。

“《辦法》努力在技術發展與風險治理之間尋求平衡,為這一新興領域的法治化治理奠定了較為清晰的政策基調,也體現出對弱勢群體的特殊關切。”浙江大學數字法治研究院研究員李汶龍認為,這一思路與歐盟以及美國部分州的AI監管思路類似,即“劃定紅線”而非“一刀切”式禁止,核心就是通過風險分級與邊界設定,對其運行方式加以規范。

但要從規則設計走向實際治理,仍面臨諸多現實挑戰。

如《辦法》要求服務提供者識別用戶過度依賴、沉迷傾向,並加以提醒。“但在具體執行中,如何界定‘沉迷’本身就是個難題。”李汶龍說,如果一個用戶連續與AI陪伴應用互動數小時,但並未涉及私人敏感話題,這種高頻使用是否被認定為沉迷?在缺乏明確行為閾值和情境判斷標准的情況下,平台執行要求存在較大解釋空間,也增加了執法層面的不確定性。

這類困境同樣出現在心理風險識別環節。“比如用戶說出‘我想消失’或‘生活真沒意思’這類微妙的語句,僅依賴算法進行語義識別,很容易出現誤判。”李汶龍表示,語言具有高度情境性與多義性,而模型在理解隱含情緒和潛台詞方面仍存在局限。

推動《辦法》更好落地,需明確沉迷分級量化閾值。為此,北京師范大學法學院博士生導師、中國互聯網協會研究中心副主任吳沈括建議,輕度沉迷為單日超4小時、連續7天日均超3小時與AI互動﹔中度為出現戒斷反應、替代現實社交﹔重度則涉及極端訴求。可結合情感意圖分類技術,搭配行為監測、情境驗証、人工復核等手段,確保識別精准。

構建“干預機制”,也被認為是關鍵一環。

“當在會話中出現自殺、極端暴力或醫療處置等高風險話題時,系統需從順從式回應切換為干預式引導,及時提供風險提示,並在必要時聯動專業機構的人工支持。”白惠天建議。

在完善干預標准、構建分級閉環體系方面,吳沈括提到,可以將彈窗提醒升級為分級響應流程,對於輕度依賴通過強制冷卻、弱化擬人化回復引導合理使用﹔對於中度依賴採取強制中斷、推送心理疏導或反饋監護人等措施﹔對於重度危機立即人工接管,聯動相關機構干預並留存記錄。

“大型平台具備較強的技術與資源儲備,能夠率先建立合規體系,但對於中小平台而言,若缺乏明確的能力支持與實施指引,恐怕難以真正落地相關要求。”李汶龍提醒,亟須在監管層面形成分級指導與能力扶持機制,以實現政策目標的平衡推進。

“《辦法》中的要求需要被轉化為一套可操作的合規工具,包括自殺風險識別機制、人工接管流程、交互日志留存與審計制度等。這些能力,構成未來落實《辦法》的合規基礎支撐。”李汶龍說。

《辦法》還提出,採取數據加密、訪問控制等措施保護用戶交互數據安全。

AI陪伴依賴長期記憶與個性化建模,但這也意味著對用戶敏感信息的持續採集與處理。專家強調,應堅持“最小夠用”原則,明確數據採集范圍、使用目的與保存期限。同時,實行差異化數據管控,如未成年人禁止永久記憶,成年人記憶功能需授權且可一鍵清除。

“優化治理的核心是實現風險可識別、干預可執行、責任可壓實、創新有邊界,構建政府、平台、行業、用戶共治格局。”吳沈括建議,探索聯合多部門執法,暢通監督渠道﹔運用技術賦能監管,建設監測平台,筑牢監管防線﹔對規模達標的平台定期作安全評估,適當建立創新容錯與階梯處罰機制等一系列措施。此外,也需加快出台配套標准與保護指南,進一步細化細則。

“這套正在形成中的治理工具,究竟能在多大程度上預防AI陪伴可能帶來的現實風險,有待實踐檢驗。”李汶龍說,而真正可持續的路徑,並非簡單收緊或放開,而是在動態評估風險的基礎上,不斷校准平台責任與技術能力的邊界。

(責編:楊曦、陳鍵)
關注公眾號:人民網財經關注公眾號:人民網財經

分享讓更多人看到

推薦閱讀
返回頂部