4月8日消息，近日，SentiPulse（思維光譜）聯合中國人民大學高瓴人工智能學院博士生團隊，正式開源交互式3D數字人框架——SentiAvatar，並同步開源配套3D數字人角色模型SUSU及高質量中文多模態對話動作數據集SuSuInterActs，旨在解決3D數字人交互中動作與語義脫節、表情僵硬、節奏錯位等行業痛點。

長期以來，3D數字人因動作不自然、情感表達缺失，易讓用戶陷入“恐怖谷”效應。其背后缺乏高質量中文全身動作數據、復合語義下動作生成漂移及語音節奏錯位等問題。

此次開源的SentiAvatar框架實現了多項技術突破：通過光學動作捕捉構建的SuSuInterActs數據集，包含2.1萬段對話片段，總時長37小時，填補了中文對話場景下3D數字人高質量—動作數據的空白﹔自研動作基礎模型在超20萬條異質動作序列上訓練，提升了復合語義理解能力﹔提出“plan-then-infill”架構，將語義規劃與韻律驅動解耦，實現動作與語音的精准對齊。

在SuSuInterActs和BEATv2數據集上，SentiAvatar均達到當前最優水平，動作生成效果優於全球主流文生3D動作模型。目前該框架已在GitHub開源，可應用於游戲交互、影視制作、機器人等領域。（記者 李文瑤）