“詞元”（token），無疑是近期的超級熱詞。“詞元工廠”“詞元經濟”“詞元資本”“詞元投資”“詞元理財”“詞元超市”“詞元出海”“詞元安全”“詞元時代”等新詞語層出不窮。這種新生事物的出現及其譯名的確定，不僅在科技領域和產業界產生了巨大影響，也給語言領域帶來了挑戰、啟示和新機。相關問題不只是單純的語言話題，而是關涉經濟社會發展的重大現實課題，亟待深入研究，助力相關事業發展。

詞元帶來的挑戰

詞元的定義不盡相同。作為新生事物的詞元，在人工智能領域一般指大語言模型對信息載體進行切分而產生的基本結構單元。它本質上具有三重屬性：基本運作單元、最小符號單元、最小信息單元，被喻為“信息原子”“機器語言積木”。對詞元的功能和價值的主要看法是：聯通人類語言與機器語言的橋梁，連接算力、數據、模型、應用與商業價值的關鍵媒介和結算單位，數字石油、數字電力、新興經濟的引擎，數智時代的新型全球貨幣等。概而言之，詞元是數智時代人類生存發展的重要資源。

作為詞語的token，是個多義詞，全國科學技術名詞審定委員會將其中文譯名定為“詞元”，客觀上給詞元這個本來由異質符號構成的新生事物作出了定性，這顯然挑戰了現有的語言理論。因為“詞元”所指並非全是語言成分，其命名突破了語言的邊界，改變了語言符號體系和結構單位，也模糊了語言與文字的區別。

然而，詞元譯名帶來的客觀效應不可小覷。從戰略層面看，它以中文命名邏輯來定義前沿科技關鍵概念，有利於培育中文科技概念體系，提升科技話語權。從語言學及相關領域實務看，詞元所指對象雖然包含語素、單詞、短語、文字、標點、特殊符號，以及音頻片段、圖像塊等異質成分，但詞元的定名，則揭示了它們都是“基本離散符號單元”的內在共性，歸為一統，便於多模態信息載體的統一處理和計量，具有多方面的效用。詞元客觀上成為聯通人類語言和機器語言的橋梁，這不僅解決了機器信息處理的工程問題，催生了詞元經濟的興起，而且或可發揮構建機器語言體系、融通人類語言和機器語言的基石作用。

突破往往是創新的發端。面對詞元這一深刻影響科技發展、產業變革和人類生活的新生事物，我們必須正視事實，因應發展，重新審視語言，深入挖掘其潛能和價值，更好地發揮其社會作用。

除了命名的突破之外，詞元在其他方面也對語言和現行語言學理論有所突破。一個顯著事實是，計算機和網絡的發明使語言有了新的表現形式——“數碼”，並被再賦能，成為數字世界最重要的信息工具﹔語言的表達、接受、存儲、處理、傳輸等方式發生了變化﹔語言本體也在變。大語言模型的發明又改變了語言生態，增添了語言主體，智能機器也會說話了，並正在通過具身智能體讓機器以言行事。機器語言主體、機器語言、機器言語行為、機器話語及作品等，事實上已成為“語言”范疇的要素和角色。這些都是現行語言理論不能涵蓋、無法解釋，而又難以回避的客觀現實問題。辛頓對喬姆斯基語言習得機制先天論的尖銳批評雖然需要進一步討論，但無疑表明，現行語言學理論確實存在令人困惑的問題。這些都在倒逼我們重新認識語言，回答現實問題。

對語言的再認識

詞元所指對象雖然包含非語言成分，但深入觀察可發現，它們與語言成分具有一個本質共性——信息性。這既是詞元概念內在統一性和符號功能一致性的深層依據，也為在新的語言生活背景中重新定義語言、推動語言學開拓發展提供了客觀基礎和思路啟發。可以說，詞元譯名具有“創造性破壞效應”。

關於語言性質和功能的看法不盡相同，但作為人類對世界認知的信息結晶和最重要的信息工具，語言最為核心的性質當是信息性。它的其他屬性和功能大都因其信息性而衍生，或是其信息性的不同體現。

放眼來看，信息性是人類語言、機器語言和其他生物體語言的顯著共性和底層紐帶。控制論奠基人維納早就指出：“語言不是生命體所獨具的屬性，而是生命體和人造機器在一定程度上可以共有的東西。”信息論奠基人香農認為，信息論不僅適應於計算機語言，而且適應於自然語言。這些也為基於信息性理解語言、定義語言，並構建大語言觀提供了科學依據。

機器語言的性質、機器語言與人類語言的密切聯系和機器對人類語言的融通使用表明，機器語言與人類語言具有強相關性。這也為語言概念重構奠定了事實基礎。

其他學科，如認知科學、生物學、動物語言學、多模態語言工程等領域的研究進展，也為構建統攝人類語言、機器語言乃至其他生物語言為一體的體用相統一的“大語言”體系提供了佐証。

大語言模型對詞元的成功運作，為反思過去的語言研究方法，深化對語言生成機制、結構規律和使用規則的認識帶來了重要啟示。例如，大語言模型主要依靠詞元的組配規律運算，就能成功使用語言。這表明信息符號的組合概率體現了一定符號形式與一定信息內容的契合性，也揭示出語言的有效意義取決於詞語的概念意義與語境動態意義的結合這一重要規律。反之，大語言模型的局限性也折射出它在語境動態意義的感知、把握及語用推理上的短板。以上正反事實表明，語義是語言的核心，形式與語義的正確匹配和詞語語義關系的正確聯結是語言生成和理解的關鍵。這些都從本體論、認識論和方法論的角度為反思過去的語言研究、重新認識語言提供了重要啟示。

現實表明，對語言的再認識，不僅是走出語言理論困局的需要，而且是解決科技創新和經濟社會發展中現實語言問題的必需。

新機遇與新路徑

大語言模型及相關科技發展在給語言領域帶來巨大挑戰的同時，也為其帶來新機遇。《教育發展“十五五”規劃》《關於加強數字中文建設 推進語言文字信息化發展的意見》等國家文件對語言文字事業發展提出了新要求，迫切需要語言領域搶抓機遇、勇於變革，樹立大語言觀，發展大語言學，建設大語言事業，提供大語言服務，為經濟社會發展和人類文明進步作出更大貢獻。

第一，化挑戰為動力，推進基礎理論創新。一是語言再定義。開展以“信息性”為核心的不同性質“語言”的整合研究，構建人類語言、機器語言及其他語言為一體的體用相統一的大語言體系。筆者的初步認識是：語言是生物體和智能機器用於交流信息的方式及其表征手段構成的多要素協同的復合性媒介系統。這個定義涵蓋不同來源、不同主體、不同功能、不同形式的語言，有利於在更廣闊的視野下深刻認識各類語言問題，推進語言領域創新發展，解決相關理論困惑和實踐問題，也可為數字世界的語言系統構建和自然語言處理技術優化，以及其他學科領域創新提供幫助。二是語言能力概念重構。現行語言能力說基於人的語言且僅指人的語言能力。而機器語言的產生和人機交互的常態化，需要統籌和發展人的語言能力、機器語言能力以及人機言語交際能力。這是數智時代新型語言能力三要素，亟待開展理論建構和實踐培育。三是語言規律再審視。大語言模型獲得語言知識和能力的方式、使用語言的方式和效果，顛覆了對語言的既有認識，需要研究和利用，以反觀語言、優化機器語言應用。對於辛頓和喬姆斯基的爭論，不應隻看到對立，更應關注其潛在的殊途同歸和啟發性。其實，他們所代表的是技術主義和理性主義兩條路線，不足以也不應該相互否定。嘗試綜合運用兩條路線來探索語言規律，或許是康庄大道。

第二，建設數字語言資源，為數字世界筑基。數字世界的核心價值依托是數字資源，這就猶如物理世界的自然資源一般重要。因此，必須筑牢數字資源基礎。國家大力推動的數字中文建設，就是要把中文承載的現實世界的所有文明成果搬進數字世界，以“實現中國語言文字和中華文化在數字世界佔有應有的份額和地位，全方位釋放中文信息的功能和價值，以充分滿足我國發展需求和世界相關需求，推進人類文明創新發展”。打造全口徑、大規模、多模態、高質量的數字中文資源高地（包括國家通用語言文字、各民族語言文字、方言、手語盲文、機器語言，乃至必要的外語等資源），是時代賦予語言領域的重大使命，特別需要推進語言資源向語言數據和語言知識轉化，促進語言信息資源的智能化高效利用。其中，研制數智化語義網絡、語義地圖、知識圖譜、知識庫、知識建模等，都是現實急需。

第三，回應重大語言需求，助力人工智能技術創新及應用落地。大模型“缺心”“幻覺”帶來的安全隱患引發社會擔憂。一批中國科學家力主“為機器立心、鑄魂、增智”的人文路徑，致力於發展可解釋、更智慧且與人類價值對齊的人工智能。這就需要語言學發揮學科優勢，在智能機器底層邏輯優化、價值體系構建、認知框架和語用推理設計、語言智能與物理智能及心智智能有效貫通等方面，與相關專家協力攻關。同時，人工智能技術應用落地也需要語言學加持，尤其在語言數據及其產業、大語言模型垂直領域應用、智能體和具身智能的語用設計及應用、人機會話的優化、詞元生產和使用提質增效策略等方面發揮語言學之力。

第四，開拓數字世界語言研究，促進人類文明新形態建設。放眼以大模型和互聯網為代表的數字世界全域，可以“詞元”為切入口，統觀人的語言和機器語言，開展機器語言系統、機器言語行為、機器語言能力研究，助力相關技術創新﹔研究數字世界的語言生態、語言生活，尤其注重人機會話及人機協同研究，以提升人的數智化生存能力﹔研究機器寫作、機器知識生產方式及規律，探索人機協同知識生產、共創文明的新范式新形態﹔研究數字世界語言生活特點、規律及治理方略，維護數字世界語言生活健康和語言生態良性發展。

第五，建設大語言文字事業，服務現代社會發展。數智化語言生活和社會發展呼喚大語言文字事業支撐。應對大語言模型對人類語言能力的挑戰，需要在人的基本語言能力層面“挖潛提能”，同時培養善於與機器交流的能力、甄別和利用機器語言信息的能力等。我們還需更新語言人才培養理念和目標，改革培養模式，大力推進跨學科復合型語言人才尤其是語言智能等語言科技人才培養。此外，數智化社會建設迫切需要打造數智化、全天候、廣口徑、響應快的社會語言服務體系，不斷增強服務效能和普惠性，切實消弭“數字鴻溝”，實現語言服務無盲區。

（作者：趙世舉，系江蘇師范大學/武漢大學教授）