人民網北京3月3日電 （記者申佳平）第二屆北京人工智能產業創新發展大會日前在北京舉行。中國工程院院士倪光南在大會致辭中表示，中國在人工智能市場和應用場景上潛力巨大，當下一方面要搶抓發展機遇，在垂直領域和應用場景方面發力，另一方面要有針對性地思考和研究生成式AI存在的諸多問題，統籌發展與安全。

倪光南認為，當前生成式AI正處在發展初期，檢索增強生成（RAG）、精准算法增強等大模型增強技術仍有較大的發展空間。

他以近日備受關注的文生視頻應用Sora舉例指出，盡管Sora系統通過輸入提示詞可輸出對應的視頻，但其目前還無法准確模擬復雜場景的物理特性，也無法理解實體之間的因果關系。如，在Sora生成的果汁潑濺視頻中，實體有兩個穩定狀態，一個是水杯直立的狀態，另一個是果汁已經潑濺出來的狀態。但是最為復雜的物理狀態，即果汁從杯中流洒出來的過程並沒有生成出來。

“要做到這一步還需要將眾多科學定律、工業軟件和計算能力等與大模型融合，很有挑戰性。”倪光南表示，目前我國很多企業和機構正在許多垂直領域和應用場景的中小模型方面發力，值得鼓勵和支持。

據悉，倪光南院士曾於2019年11月至2023年12月，擔任人民日報社主管、依托人民網建設的“傳播內容認知全國重點實驗室”學術委員會主任。該室驗室在生成式AI垂直應用領域開展了積極探索，其推出的“寫易”智能創作引擎，訓練之初就充分運用符合我國主流價值觀的數據集和語料庫，內容涵蓋政治、經濟、文化、社會、生態、黨建、國防、外交等重點領域，保障生成內容安全，著重為公務人員、事業單位、國有企業提供優質、持續迭代的智能創作服務。“寫易”可基於標題生成觀點評論、會議材料、方案策劃等，目前已在多個黨政系統應用。

倪光南坦言，在可解釋、透明、公平、合法、安全等方面，生成式AI仍存在很多問題，需要有針對性地進行深入思考和認真研究，並採取一系列迅速有效的舉措，以保障安全有效地應用生成AI。

他指出，有多種途徑可“人為”影響生成式AI系統的“價值觀”傾向，包括：訓練時所使用的大數據集合﹔依靠人類反饋進行增強訓練時所採用的獎懲規則﹔算法中的某些環節或者運行中施加的某種干預﹔使用交互中對其進行的誘導等。對於此類“價值觀”傾向，建議由權威機構按照“主流價值觀”的要求，對生成式AI的產品和服務進行相應的價值觀測評，以幫助用戶選取適合的對象。

據了解，傳播內容認知全國重點實驗室針對大模型存在的意識形態風險，於2023年3月研究建立了生成式大模型內容安全測評技術體系，對大模型的應答內容，從政治方向、輿論導向、價值取向、倫理安全等10余個維度，採用人機結合的方式進行綜合測評。與此同時，人民網在對各人工智能大模型進行內容安全測評的基礎上，針對大模型普遍遇到的、自身難以克服的意識形態安全問題，建設了“主流價值語料庫”，為人工智能大模型提供安全語料支撐、知識增強服務，助力各類機構研發的人工智能系統提升意識形態安全水平。

“生成式AI是當代的重大科技創新，將催生新產業、新模式、新動能，是發展新質生產力的核心要素。要以全球視野進行謀劃和發展，爭取在人工智能時代躋身世界前列，為實現科技強國夢和民族偉大復興作出更大貢獻。”倪光南說。

以下為演講全文：

女士們、先生們：

大家下午好!

很高興參加第二屆北京人工智能產業創新發展大會。由人工智能引領的新一輪科技革命和產業變革在全球范圍內蓬勃興起,當前世界各國都在做出重大部署，將人工智能領域作為提升國家競爭力的科創高地。

不久前以ChatGPT為代表的大模型揭開了了生成式AI發展的新篇章，雖然我們還很難預測其今后的具體發展途徑，但是它肯定會對人類社會產生巨大的影響，我們必須直面應對，迎接相應的機遇和挑戰。

首先我們應當看到，在生成式AI的基礎研究與人才方面，我們與西方國家仍有顯著的差距，為此，我們應當思考如何在基礎大模型研發上趕上去，同時，要思考未來在教育模式上的改變，要面向新產業、新模式、新業態，發展新的人才培養方式和標准。

現在生成式AI的應用還剛起步，中國在人工智能市場和應用場景上有很大的潛力，當下應當狠抓應用，以此促進基礎大模型及AI算力的發展。目前我國很多企業和機構正在許多垂直領域和應用場景的中小模型方面發力，這是值得鼓勵和支持的。

生成式AI現正處在發展初期，大模型的增強技術還有很大的發展空間。例如RAG技術，即運用檢索獲得的精准結果來提升大模型響應的專業性和准確性，這一技術已得到業界的普遍認可。再例如精准算法增強也很有前景。最近發表的文生視頻Sora系統引人注目，它通過輸入提示詞，可輸出對應的視頻。然而Sora目前還無法准確模擬復雜場景的物理特性，也無法理解實體之間的因果關系。如在Sora生成的果汁潑濺視頻中，實體有兩個穩定狀態，一個是水杯直立的狀態，另一個是果汁已經潑濺出來的狀態。但是最為復雜的物理狀態，即果汁從杯中流洒出來的過程卻沒有生成出來。顯然，要做到這一步需要將眾多科學定律、工業軟件和計算能力等等與大模型融合起來，這是很有挑戰性的工作。顯然，圍繞大模型發展各種增強技術是很有意義、很有前途的。

應當指出，生成式AI還存在很多問題值得我們深入思考，例如在可解釋、透明、公平、合法、安全等等方面，都需要認真研究，而且這些問題在短期內不可能都完全徹底地解決，為此，需要採取一些迅速有效的舉措，以保障人們可以盡可能安全有效地應用生成式AI。建議終端廠商在各種終端上加上“AI代理”軟件，這個軟件類似於終端上已經普遍使用的“管家”、“助手”這類小工具，不過要將這類小工具的功能擴展到監控生成式AI的應用方面。例如：是否調用某個大模型，是否採用大模型給出的特定響應，如何將大模型與終端上的小模型融合起來……鑒於“AI代理”的能力遠遠超過了常規小工具，它當然可以包含並提升這些小工具的原有功能，從而將終端的運維、升級、安全防護等等功能都擔當起來。在技術架構上，它可以處於系統的最底層，取得終端的最高權限，而將原先的OS作為宿主OS。這裡，對它冠以“AI代理”的名稱，意味著它可以代理終端所有者對終端實施管控，在身份、價值觀、愛好、習慣等等方面都可以代理終端所有者。

我看到國內有的終端已經裝備了“AI助手”（例如榮耀的魔法OS 8.0），使終端設備更智能、更有效率，更人性化和個性化。如上述工具加以延伸和擴展，就可以演進成“AI代理”，將AI應用融入終端設備當中 。

這裡我還要強調一下對生成式AI系統及其所提供結論是否應當引入“價值觀”傾向的概念，因為有多種途徑可以導致這類系統帶有傾向，包括：訓練時所使用的大數據集合﹔依靠人類反饋進行增強訓練時所採用的獎懲規則﹔算法中的某些環節或者運行中施加的某種干預﹔使用交互中對其進行的誘導等等。既然有傾向，當然也可以實行評估。如同為了保障信息安全，可由權威測評機構進行相應的安全測評那樣，對於AI產品和服務，為了保障倫理安全，也可引入相應的測評機制。可由權威機構按照“主流價值觀”的要求，對生成式AI的產品和服務進行相應的價值觀測評，以幫助用戶選取適合的對象。

綜上所述，生成式AI是當代的重大科技創新，它將催生新產業、新模式、新動能，是發展新質生產力的核心要素。我們要以全球視野進行謀劃和發展，爭取在人工智能時代躋身於世界前列，為實現科技強國的夢想和民族偉大復興作出更大的貢獻。

分享讓更多人看到