中國移動 12 月 8 日宣布聯合南京大學團隊研發(fā)高保真 2D 數字人說話驅動系統。
作為擁有世界規(guī)模第一用戶數的通信運營商，中國移動每年的客戶服務運營成本巨大�，F已廣泛普及的智能語音客服雖能完成一定的業(yè)務自動應答任務，但依然不及人工客服面對面，一對一的星級服務體驗。
針對實際業(yè)務存在的痛點，中國移動九天視覺團隊聯合南京大學邰穎團隊，研發(fā)高保真 2D 數字人說話驅動系統，旨在為用戶提供表情自然、唇音同步和頭部姿態(tài)和諧的數字人播報對話服務，可應用于智能客服、教育培訓、廣告營銷等場景。
▲ 情感控制的高保真 2D 數字人說話驅動方法
據中國移動官方介紹，2D 數字人說話驅動系統實現根據給定目標人物的照片或視頻和任意一段音頻，生成與音頻同步的目標人物說話視頻流。要求生成視頻里的人物逼真度高，表情姿態(tài)自然，同時需要具有較高的實時性，能做到與語言大模型、音頻合成能力有機整合，構建起人物數字替身。
中國移動九天視覺團隊聯合南京大學研發(fā)的高保真 2D 數字人說話驅動系統，在以下三方面開展了技術攻堅和方案創(chuàng)新：
第一，性能實時：相比以往數字人方法，在實時播報的口型生成技術上達到了學術界領先水平，支持中英文數字人口型驅動，在保持效果的情況下達到實時性能 30ms / 幀。
第二，效果領先：研發(fā)二階段學習框架，將數字人說話驅動拆解成：從音頻到口型系數和從口型系數到生成人像兩部分，降低學習難度，實現更好的生成效果。
第三，情緒控制：引入情緒引導學習模塊，支持正常、微笑、驚訝、憤怒、恐懼、悲傷等 7 種主流情緒控制生成能力，賦予生成的播報人人文情感表達能力。
▲ 高興、悲傷情緒下的數字人說話生成效果
從中國移動官方獲悉，數字人生成技術上實現了端到端的二階段 30 FPS 實時生成性能，并支持 512*512 人臉區(qū)域生成，同時具備高興、悲傷等 7 種主流情緒控制生成能力。
在評測集 VoxCeleb 指標方面，該技術的口型準確性 LMD（LandMark Distance）達到 4.3，生成自然度 FID 達到 11.1。
中國移動官方表示，該研發(fā)成果應用前景廣闊，有效降低了創(chuàng)作門檻，提升了生成人物的視覺質量，已為 5G 新通話、和留言小秘書品牌業(yè)務的拓展賦能升級。 
