◎本報記者 朱 虹 實習生 何雨竹

　　近日，黑龍江大學本科生創業團隊的參賽項目“傳情達意——讓機器手語翻譯不再冰冷”憑借其獨特的創意和系列技術突破，在第十四屆“挑戰杯”秦創原中國大學生創業計劃競賽中榮獲金獎。這個項目研發了全國首個融合面部肌電信號的手語翻譯技術和相關AR眼鏡設備，不僅讓手語被“聽到”，還能讓聲音被“看見”。

　　團隊通過調研發現，目前助聾設備普及率隻有5%，且普遍價格高，適配場景少，准確率較低。為此，團隊決定在助聾設備方面做進一步探索。他們歷時兩年，研發出樣品並進行完善，目前已與徐州市特殊教育中心等機構簽訂購買意向書。

　　“我們的創新產品主要由臂環和AR眼鏡兩部分組成。”項目負責人、黑龍江大學電子工程學院朱銘熙說，臂環通過收集並識別聾啞人做手語時的肌電信號，將其轉化為語音，實現了手語的“聽覺化”。在這一過程中，電極貼片起到了關鍵作用。它們能夠捕捉肢體動作的細微變化，將其轉化為特征向量，與預先建立的手語向量數據庫進行比對，從而准確識別出手語的含義。

　　然而，僅有臂環的手語識別並不足以達到精准翻譯的目標。朱銘熙介紹：“手語中面部表情所佔的權重不低於40%，而人的情緒主要通過眉毛和面頰兩側的肌肉來體現。”

　　為了提升准確率，團隊進一步提升了設備精准捕捉表情、理解情感的能力。他們將電極貼片安裝在AR眼鏡的引擎上，研發了我國首個融合面部肌電信號的手語翻譯技術。當佩戴者因情緒產生微表情的時候，設備就能精准捕捉這些微小的面部表情，並將其轉化為特征向量后與數據庫中的信息進行比對，從而讓手語翻譯更加精准。

　　同時，團隊還擴大了數據吞吐量，實現設備時延小於0.1秒，能實時完成13000余條手語數據的調用。正是基於這些技術，與同類產品相比，團隊產品的實時性翻譯能力更強，准確度更高。

　　朱銘熙團隊的成果，不僅讓手語被“聽到”，還讓聲音被“看見”。考慮到很多聽障人士存在識字困難，朱銘熙團隊開發了一個能夠顯示在AR眼鏡上的數字人。當識別到周圍有人說話時，文字內容可以直接匹配到數字人的手語動作上。這樣，佩戴者就能在AR眼鏡上看到數字人打手語，無需識字就能理解對方的意思。

　　這一創新為聽障人士提供了極大便利，為他們打開了一個全新的交流世界。該技術不僅可以用於個人社交活動，也能作為聾啞學校基礎的教學輔助裝置。“通過讓學生佩戴臂環，我們可以檢測他們的手語表達是否標准，中控台可以實時顯示結果，讓手語教學更直觀，也大大降低了教學成本和時間。”朱銘熙介紹。

　　目前，2000余位聽障人士佩戴了團隊研發的產品。河南鄭州張哥助殘服務平台創始人張繼磊試用產品后給予高度評價：“這款產品能夠切實幫助聾啞人群，應用市場非常廣闊，希望能繼續完善，讓更多有需要的人受益。”

　　目前，團隊正在向數據庫繼續補充手語數據，擴大產品的應用場景。

分享讓更多人看到