AI坐上文本裁判席,真的靠譜嗎
222
訂閱已訂閱已收藏
收藏點擊播報本文,約

圖片由AI生成
生成式AI普及之后,寫作這件事變得有些微妙。過去人們問“寫得好不好”,現在多了一個問題“這到底是不是人寫的”?AI檢測器正是在這樣的需求下,進入了人們的視野。它們分析文字中的語言特征,試圖判斷文本更像是人寫的,還是機器生成的。
美國《連線》雜志近日報道,作家米婭·巴拉德的小說《Shy Girl》曾被AI檢測公司Pangram判定為78%由AI生成。但巴拉德否認使用AI寫作。隨后,出版商Hachette取消了這本書在美國的出版計劃。
如今,Pangram、GPTZero等AI檢測產品已經進入出版社、學校和科研機構。一個原本用於輔助判斷的技術,正在越來越多地參與實際決策。
AI檢測器正變得更准確
早期AI檢測主要依賴困惑度和突發性。困惑度衡量一段文字對語言模型來說有多“意外”,如果下一個詞很容易預測,困惑度通常較低。突發性則關注句子長短、結構等變化。人類寫作往往長短錯落、起伏轉折,AI則偏愛整齊劃一、千篇一律。
但這種方法漏洞很明顯。一個文風嚴謹的學者,或者一個英語不夠流利的非母語者,寫出來的東西很容易被誤判成AI。因此,一些高校一度停止或限制使用AI檢測工具。
隨著大模型的發展,以Pangram為例,它用海量人類文本和AI文本訓練模型,還讓AI自己生成與真實文本相似的“鏡像文本”,專門挑那些容易被誤判的樣本反復訓練。Pangram 4的技術報告顯示,在它們的測試數據裡,英文文本的誤判率降到了0.0041%。《自然》雜志也提到,今年7月Epoch AI測試了495篇純人類寫的文章,沒有發現Pangram出現誤判。
不過,這些數據主要來自企業自己的測試,第三方獨立評估還不夠。同時,檢測模型和生成模型都在快速迭代,今天表現良好的模型,明天可能就會面臨新的挑戰。檢測器給出的數字,不能直接當作事實。
“96% AI”不等於96%由AI寫成
《自然》雜志曾拿Frontiers出版社科研誠信總監埃琳娜·維卡裡奧的一篇文章去作檢測。維卡裡奧表示,文章初稿和想法完全由自己完成,隻在修改過程中讓AI潤色了一下,之后又經過了人工編輯。然而,Pangram舊版本將這篇文章判定為100% AI生成,升級后的Pangram 4仍給出了96% AI的比例。
但這裡的“96% AI”,並不是說文章中96%的內容都是AI完成的。檢測器給出的“AI比例”,與作者實際使用AI的程度,並不是一回事。
Pangram解釋稱,“100% AI”並不是說文章中的每一個詞都是AI寫的。系統會把文章切分成不同片段,分別判斷這些片段更接近AI、人類還是兩者混合,再根據這些判斷計算整體比例。因此,“96% AI”更准確的含義是,檢測器認為這篇文本具有很強的AI生成特征,而不是認定作者有96%的內容由AI完成。
今天的寫作早已不是“人寫”與“AI寫”的二元對立。一位作者可能獨立完成初稿,僅用AI修改措辭﹔也可能讓AI生成框架,再逐段重寫﹔還可能經過翻譯、潤色、人工修訂等多道工序。然而,從檢測器的視角看,這些參與程度完全不同的寫作方式,最終產出的文本卻可能呈現相似的AI特征。
檢測結果本身也並非完全穩定。《自然》的測試發現,同一段文字,單獨檢測和放在完整文章中檢測時,分數可能不一樣。《連線》的測試也發現,對文本進行一些修改后,檢測分數可能隨之改變。
一場沒有終點的“貓鼠游戲”
檢測器在升級,規避檢測的方法也在更新。市面上已經出現了專門的人性化改寫工具,能把AI寫的句子重新組織一遍,換上更自然的詞,調整表達節奏,目的就是讓檢測器認不出來。研究顯示,經過這種處理的AI文本,漏檢率會明顯上升。
讓AI模仿某個具體作者的風格,也是一條路徑。非營利研究機構Epoch AI的一項獨立評估發現,當AI被要求模仿特定作者的寫作風格時,部分生成文本能夠繞過檢測。
語言差異也增加了這種不確定性。一些非英語母語者使用AI翻譯或潤色后,文章反而更容易被判成AI生成。Pangram新版模型對此有所改善,但檢測結果仍可能受到語言背景和文本類型影響。
生成模型和檢測模型,就這麼你追我趕,誰也停不下來。生成模型想方設法學著“說人話”,檢測模型就拼命尋找哪裡還露出馬腳。檢測器更新之后,新的改寫工具或許又會出現。
檢測器應是指南針而非判決書
對於學校、出版社和科研機構來說,檢測器更適合承擔“篩查”的角色。對於學校、出版社和科研機構而言,判斷一篇文章是否違規使用AI,還需要結合具體的使用情況。
據《自然》雜志報道,美國癌症研究協會已經使用Pangram檢查同行評議。一名審稿人因檢測結果異常受到詢問后,承認自己在評審意見中使用了AI。這樣的案例說明,檢測器確實可以幫助機構發現異常,但從“發現異常”到“確認違規”,中間仍然需要人的判斷。
Pangram也建議,在處理AI學術誠信問題時,應結合草稿、筆記、修改記錄和寫作過程等信息,而不能隻看檢測分數。
檢測器可以告訴人們一段文字像不像AI生成,卻無法僅憑一個數字還原真實的寫作過程。隨著AI和檢測技術繼續發展,這個邊界可能還會不斷變化。(記者 張佳欣)
關注公眾號:人民網財經
分享讓更多人看到
- 評論
- 關注































微信掃一掃


第一時間為您推送權威資訊
報道全球 傳播中國
關注人民網,傳播正能量