2022年國際母語日將“利用技術促進多語言學習：挑戰與機遇”作為主題，指出了技術對推進多語言教育以及文化傳承與保護的作用。

　　百度飛槳深度學習平台攜手英特爾，基於第三代英特爾至強可擴展處理器進行深度優化，通過完善的模型壓縮方法和量化加速技術，支持全自動生成大規模“漢語-少數民族語言”雙向詞典。

　　全自動構建大規模雙向詞典

　　構建雙向詞典項目，採用了規模大、范圍廣、語種多、內容豐富的語言博物館館藏源語料庫，語料全部來自於田野調查與實地採集。

　　通過分析，項目研發人員選取了中國少數民族語言中的獨龍、爾蘇、嘉絨、撒拉這四種數據較為豐富的語言作為實驗對象。

　　為基於百度飛槳實現對齊算法，項目團隊首先開發了民間故事漢語數據集。開發過程中，充分利用飛槳PaddleOCR開發套件識別精度高、推理速度快等特性，對跨度8年的《故事會》雜志掃描樣本進行數據化處理，構建出規模達950萬字的文本數據集，也是全球首個民間故事漢語數據庫，且具有很強的口語化風格，適合與少數民族語言語料進行對齊。

　　然后，實施低資源詞向量訓練，應對四個少數民族語料句子數量普遍不足五千條的挑戰，以及《故事會》語料小於二十萬條句子的問題，為下游的雙語對齊提供了強有力的支持。

　　繼之，依據拓扑特征，對兩種語言的詞向量進行旋轉和對齊，實施雙語詞典自動化抽取，最終導出了獨龍、爾蘇、嘉絨、撒拉這四種語言和漢語的雙向詞典。

　　目前，這四部雙向詞典已在中國社科院民族學和人類學研究所志願者的協助下，進行了內部評測，僅發現含有少量誤差。這一可喜成果，驗証了基於百度飛槳深度學習平台，智能生成大規模漢語-少數民族語言詞典的可行性和便捷性。

　　用智能探索文化保護新路

　　雙向詞典項目依托飛槳深度學習技術，實現了語言詞典的自動化生成，減輕了語保工作者的負擔。而其背后是英特爾所提供的英特爾至強可擴展平台具備的強勁算力和多種優化措施，為飛槳平台高效支撐項目運作提供了基礎能力和量化加速。

　　人工智能應用不僅需要高算力作為支撐，而且源於大多數深度學習模型使用32位浮點精度（FP32）構建，復雜度高，模型參數量大，限制了其在一些場景和設備進行部署，需要實施軟硬結合優化，才能突破性能瓶頸，高效承載諸如上文雙向詞典生成等多類應用。

　　針對上述問題，英特爾攜手百度飛槳，基於第三代英特爾至強可擴展處理器、英特爾 oneAPI工具套件等軟硬件組合，在為飛槳平台提供充裕算力的同時，也對整個深度學習流程實施全方位優化，幫助加速各類應用開發和量化部署。

　　第三代英特爾至強可擴展處理器依托出色的微架構，發揮多核心、多線程和大容量高速緩存等特性，很好地滿足了飛槳平台對通用算力的苛刻需求，同時加持以其內置的英特爾 AVX-512提供的增強矢量處理能力，提升AI 推理和訓練效率，為圖像分類、自然語言處理、語音識別、語音翻譯等廣泛的應用開發和部署提供穩健基石。而最新一代的第四代英特爾至強可擴展處理器更內置一系列加速器，包括全新的AI加速器——英特爾高級矩陣擴展（英特爾AMX），覆蓋包括訓練和微調在內的更多深度學習使用場景，可以為不斷變化且要求日益增高的應用提供更為可觀的計算性能。

　　為滿足模型快速“瘦身”之需，百度飛槳打造了PaddleSlim深度學習模型壓縮工具庫，以及為用戶提供靈活的壓縮策略，而英特爾至強可擴展處理器內置的AI加速技術——英特爾 深度學習加速（英特爾 DL Boost），可通過矢量神經網絡指令（VNNI）充分提高計算資源和緩存的利用率，減少潛在的帶寬瓶頸，為INT8等低精度計算提供優化支持，顯著加速AI推理。由此，幫助飛槳PaddleSlim所支持的量化訓練和靜態離線量化方法，更好地適用於計算機視覺（CV）和自然語言處理 （NLP）等模型優化過程，這無疑也為雙向詞典AI方案的開發提供了便利，同時提高了項目運作效率。

　　同時為激活 VNNI 加速功能，百度飛槳深度學習平台在量化方案實施中還廣泛使用英特爾oneAPI 工具套件，如英特爾 oneAPI 深度神經網絡庫（Intel oneAPI Deep Neural Network Library，英特爾 oneDNN）。借助其統一、簡化的編程模型，飛槳用戶得以在CPU、GPU和FPGA等不同的架構上方便地調用通用接口來使用平台內置的AI加速技術，而無需擔心平台兼容問題。

　　得益於英特爾 至強 可擴展平台與多項優化工具的支持，百度飛槳深度學習平台實現了深度優化，並不斷豐富模型資源及應用開發套件，為用戶提供了優異的模型及硬件加速體驗。而雙向詞典項目在推動少數民族語言保護領域展現的神奇魔力，就是其典型案例。

分享讓更多人看到