人工智能或可喚醒“沉睡”的文化寶藏
222
訂閱已訂閱已收藏
收藏點擊播報本文,約
現在,請你畫一個小人,你會首先想到畫個“火柴人”嗎?一個圓作頭,一條豎作身,四條斜線作為四肢……恭喜你,你寫出了一個我國納西族東巴文中的“人”字。
東巴文異體千形、句法靈活,被譽為研究人類文字起源與書寫系統演化的“活化石”。但如今,由於專家稀缺、文獻數量龐大、部分文字已不再廣泛使用,許多東巴文、古彝文、水書、回鶻文等民族文字文獻正面臨無人能讀懂的境地,海內外大量古籍文獻已是“養在深閨無人識”。
今年7月,《中華人民共和國民族團結進步促進法》正式實施,明確提出推動少數民族語言文字的規范化、標准化和信息化建設,支持少數民族古籍的保護、整理、研究和利用。如何搶救保護我國燦爛豐富的多民族語言文字,挖掘民族古籍中各民族交往、交流、交融的歷史印記?針對這些問題,人工智能技術可能會帶來全新的解題思路。
許多少數民族文字無法直譯
如果拿出一卷無人研讀過的東巴文古籍,我們能否像釋讀漢字古籍一樣對其進行釋讀?
答案是不能。“許多民族文字無法逐字直譯。文字組合規則、上下文省略表達、非線性排版順序,都會大幅提升整體語義的理解難度。簡單來說,即便認識單字,也很難讀懂整句、整段的含義。”中央民族大學信息工程學院教授、民族語言智能分析與安全治理教育部重點實驗室主任畢曉君說。
文化失傳不是一瞬間的事,但它此刻正在發生。全世界現存東巴文古籍3萬余卷,其中至少1.4萬卷封存於海外圖書館,無人問津﹔水書是我國水族獨有的文字,主要通行於貴州省黔南州,當地存有水書文獻典籍原件共1.9萬余冊,而2022年建檔在冊能讀懂水書的人僅466名﹔在被譽為彝族畢摩之鄉的四川省美姑縣,能讀懂古彝文的人不足2000人,其中高水平研究者更是不足20人……
“如果我們沒有能力解讀這些民族古籍文獻,未來屬於我們自己的文化話語權,就會拱手讓人。”深耕人工智能近二十年的畢曉君,希望自己的課題組能利用人工智能技術推動少數民族文字古籍的識別、修復、釋讀和翻譯。
“語言學家擅長文本研讀與文化研究,而我們作為技術研究者,可通過和語言學專家的深度交流與合作,獲得有效的語言數據來訓練AI模型。這樣就可以讓機器讀懂、識別民族文字。”畢曉君告訴科技日報記者,在民族文字保護利用中,人文研究提供了問題意識、文獻依據和解釋框架,而人工智能則提供了圖像修復、文字識別和機器翻譯等技術手段。二者相輔相成,深度融合。
攻克低資源語言處理技術難題
看懂古籍,先要看懂文字。想要讓人工智能識字,高質量、標准化的數據集必不可少。雖然預訓練技術在漢語、英語等通用語言領域已取得成熟成果,但全球現存的7000余種語言中,超6500種語言如同東巴文一般,存在可用數據稀缺、標注語料匱乏、專用處理工具缺失的共性問題。這類語言被定義為低資源語言,其智能處理技術長期處於空白狀態。
“從零開始做數據集,面臨著文字形態高度相似與文本保存狀態不佳的雙重挑戰。”課題組成員、山西電子科技學院信息與通信工程學院講師駱彥龍說。
一方面,民族古籍中存在大量字形高度相似的字符。如何搭建具備強局部特征提取能力的網絡模型,同時完整保留全局語義信息,提升文字整體識別准確率,是共性技術難題。另一方面,許多古籍年代久遠,部分書寫介質為樹皮紙、樹葉紙,普遍存在文字殘缺、畫面模糊、頁面破損等問題,需要修復優化。
對此,課題組結合東巴文獨特的書寫特征,組織學生仿寫標准化東巴文字典,構建了大規模單字數據集,同時通過圖像預處理技術優化數據質量,大幅提升東巴文單字識別精度。在古籍圖像修復方面,課題組先對殘缺文字進行初步粗修復,再從自建的標准字庫中匹配候選文字,結合上下文語義交叉驗証,顯著提升了修復結果的准確性與可信度。
2023年,課題組面向全社會公開手寫東巴文單字數據集DB1404。該數據集包含44.5萬張東巴文單字圖像,覆蓋2546個東巴基礎單字。依托這一數據集,課題組搭建了東巴文智能分析管理系統。目前,該系統的文字識別准確率達99.34%,已有35家高校、科研單位申請使用。
字看懂了,人工智能要怎麼理解句子?民族古籍智能分析不能停留在“認字”層面,必須進一步解決語義理解和機器翻譯問題。
東巴文長期被認為是一種弱語法、弱語義的文字系統,沒有標點符號,缺乏明確句式、句型和詞組,甚至沒有明確的閱讀順序,句子中常常出現指代和省略。“比如說,你去那裡,找那誰,拿那啥,這些代稱可能散落在上下文的不同語句中,單看一個句子是看不懂的。”中央民族大學博士孫梓瑋說。
解題之道同樣是數據先行。圍繞語義理解,課題組成員、清華大學計算機系博士后李碩等人構建了多民族古籍平行語料庫。團隊通過數據標注獲得18.9萬條東巴古籍平行句對,包含東巴單字146.9萬字,完成段落級、句子級和單字級的多層標注,構建起可支撐機器翻譯和內容挖掘的語料資源。
數據體系搭建完成后,如何讓人工智能精准輸出通順、准確的漢語譯文,成為新的技術瓶頸。隨著人工智能自然語言處理技術的飛速迭代,2025年12月,李碩等人依托多模態大模型,通過引入段落級語義增強、智能句子組合策略、自定義文本分隔符設計,讓東巴文智能分析管理系統對東巴文的翻譯效果顯著提升。
這一研究思路也為其他低資源語言或古文字材料的研究提供了可借鑒的方法路線。目前,古彝文、水書、滿文、回鶻文等多民族文字古籍的智能分析研究均在穩步推進。中央民族大學博士韓璐牽頭構建的大型水書單字數據集S_842已面向全社會公開。
為民族文化研究提供工具
人工智能不僅能保護民族古籍,更為民族文化研究提供了全新工具。
國際學界對東巴文是單純符號體系還是成熟文字系統爭議已久。課題組在研究中提出一個新的思路:東巴文究竟是本身不存在固定詞組體系,還是傳統人工研究未能挖掘出對應的詞組規律?
“我們通過數據挖掘,從東巴文古籍中篩選出一批穩定出現、語義一致的詞組。比如,‘日’和‘桶’穩定表達‘東方’的意思,‘綠鬆石’和‘月’穩定表達‘靈魂’的意思,這些兩個或多個字的組合在東巴文古籍中反復出現,其語義不是兩個單字意義的簡單疊加。”中央民族大學信息工程學院講師喬偉征介紹,這意味著早在千年前,納西先民就已通過象形符號的組合,建立起文字與語言系統規范、穩定的對應關系,能夠通過字符組合表達復雜抽象概念。
該研究結果為界定東巴文的成熟文字系統屬性提供了關鍵實証,有效回應了國際學界的長期爭議,為人類文字起源和書寫演化研究提供了新的証據。
我國民族多、語言多、文字多。千百年來,各民族一體同心,共同創造了燦爛的中華文化。55個少數民族中,除回族、滿族通用漢語外,其余53個民族共使用28種文字和72種語言,其中22個民族有自己的文字。
各民族應用自己民族的語言文字,積累了卷帙浩繁的古籍文獻。中華民族多元一體的發展歷史,不僅記載在“二十四史”等漢文古籍中,也記載在《西南彝志》等少數民族古籍裡。國務院公布的六批《國家珍貴古籍名錄》中,共收錄少數民族古籍1133部。
這些珍貴古籍承載著各民族對自然、宇宙、人文社會的古老認知,記錄著各民族共同開拓遼闊疆域、交往交流交融的發展歷程,是筑牢中華民族共有精神家園的重要文化資源。
隨著數據集和語料庫的不斷完善,相關研究正在從文字識別和機器翻譯進一步走向內容理解、知識挖掘與文明研究,大量塵封在海內外館藏機構、長期未被釋讀的民族古籍,重新進入學術研究視野。同時,這套低資源語言處理策略,已逐步應用於緬甸語、泰語等南亞東南亞語言研究,為跨境經貿交流、人文互通往來、跨國文化研究搭建技術橋梁。
“開展多民族古籍文獻智能分析與機器翻譯研究,不僅是AI技術在低資源語言場景中的應用探索,讓沉睡的民族古籍可讀、可研、可用,更是數智時代保護、激活和闡釋中華民族文化遺產,鑄牢中華民族共同體意識的重要路徑。”畢曉君如是說。
關注公眾號:人民網財經
分享讓更多人看到
- 評論
- 關注































微信掃一掃


第一時間為您推送權威資訊
報道全球 傳播中國
關注人民網,傳播正能量