建立以實踐為標准的人工智能評價體系
222
訂閱已訂閱已收藏
收藏點擊播報本文,約
2025年8月,國務院印發《關於深入實施“人工智能+”行動的意見》,提出“建立健全模型能力評估體系,促進模型能力有效迭代提升”,為人工智能評價體系改革指明了方向、提供了遵循。當前,人工智能正在加快進入生產生活各領域,如何客觀評價其真實能力,關系人類對智能的認識、國家的創新方向和人民群眾的切身利益。實踐是檢驗真理的唯一標准,人工智能究竟具備怎樣的能力、能否創造實際價值,最終要由實踐來檢驗。
現階段,人工智能競爭正由比拼單個模型能力轉向比拼整個系統。與此同時,全球各類大模型評測榜單不斷涌現。如何在標准化測試與實際使用之間建立更加客觀、可靠的評價尺度,已經成為人工智能評價必須回答的問題。評價的價值,不在指標本身,而在於能否解決實際問題。無數實際問題的解決匯聚起來,就是生產力的提高和人民生活的改善。以實踐檢驗人工智能,既要考察其在具體場景中能否完成任務、成本是否合理、風險是否可控,也要衡量其對生產效率和民生福祉的實際貢獻,這正是科技評價堅持實效、貢獻導向的具體體現。評價一旦脫離實踐,產業發展和社會生活中的真實需求就會得不到充分回應。
以實踐為標准評價人工智能,不僅是技術問題,更關系到認識的深化、創新方向的選擇和民生福祉的改善。從認識的規律看,實踐檢驗是認識進步的根本途徑。評價人工智能也不例外,其把幾千年來人類積累的文字和經驗壓縮進模型。模型能否推動認識的進步,要看它在人類尚未解決的問題上能走多遠。越向知識和技術前沿邁進,實踐的檢驗作用就越突出。
從國家發展的需要看,科技評價是引導創新方向的指揮棒,立足國情確立評價標准,是實現高水平科技自立自強的內在要求。從技術規律看,模型性能隨參數、數據和算力投入的增加而提升,偏重能力高低的榜單評價與這一規律相互強化,推動全球人工智能形成重規模、重算力的發展模式。然而,擴大規模並非提升能力的唯一路徑。近年來的研究和實踐表明,同等能力所需的模型規模和算力成本在快速下降。衡量人工智能的發展水平,既要看能達到多高的能力,也要看為此付出多大的代價。把效率和成本納入評價,引導人工智能從規模競爭轉向效率競爭、價值競爭,才能把創新方向的選擇權握在自己手裡。
從民生福祉的改善看,人工智能評價要把群眾的獲得感作為重要標尺。當人工智能應用於鄉鎮衛生院問診、小微企業報稅和農業病虫害識別時,能否准確理解方言表達、適用現行政策、辨識本地作物及其病害,直接關系人民群眾切身利益,而這些具體能力往往難以由通用榜單充分反映。建立客觀可信的評價,基層單位和公眾才不必在使用中反復試錯,進而規避相應的成本和風險,真正適用、可靠的產品才可以得到識別和推廣。
當前,對人工智能能否完成具體任務的檢驗已經普遍開展,但這些評價標准和方法尚不統一。人工智能為一個行業帶來多少效率提升、對國家發展和人民生活改善作出多大貢獻,則更缺少系統衡量。確立實踐標准,需要從評價具體應用、評估行業成效、衡量整體貢獻三個層面完善評價體系。
評價具體應用,功夫要下在真實場景中,標准要定在實際成效上。模型投入使用后,往往與行業數據、業務規則、工具系統和人工復核共同構成完整系統,評價的對象應當是整個系統而不是單個模型,評價的過程應當貫穿採購、驗証和運行全過程而不是一次測試或一場演示。高風險領域應當實行受控驗証並作為准入條件,投產后應當依據實際運行數據持續監測,使產品選擇和項目驗收建立在真實效果而非榜單排名、廠商演示和紙面指標之上。
評估行業成效,要算整體賬、長遠賬,以生產和服務全面增效為准繩。不同行業的業務流程、質量要求和風險邊界各不相同,應在相關部門指導下,由行業組織牽頭、龍頭企業和專業機構參與,建設本行業的真實任務庫,脫敏入庫、保密輪換,既評任務完成度也評單位成本。
衡量整體貢獻,應把人工智能對國家發展和民生福祉的貢獻納入統計核算,做到心中有數、引導有據。我國已經建立數字經濟核心產業的統計核算,人工智能對勞動生產率、就業結構、公共服務影響的統計監測可以在此基礎上起步。宏觀層面的衡量,既要看能力提升帶來的產出增長,也要看算力消耗、應用成本和普惠程度。
上述三個層面相互貫通,檢驗結果向上匯聚為行業和國家的判斷,再向下引導研發方向和資源配置,評價體系才能真正發揮指揮棒作用。
(作者:劉知遠,系清華大學計算機科學與技術系長聘教授)
關注公眾號:人民網財經
分享讓更多人看到
- 評論
- 關注































微信掃一掃


第一時間為您推送權威資訊
報道全球 傳播中國
關注人民網,傳播正能量