據(jù)“晚點 Auto”昨晚報道，微軟亞洲研究院前首席研究經(jīng)理譚旭于 8 月加入大模型創(chuàng)業(yè)公司月之暗面，主要負(fù)責(zé)研發(fā)端到端語音模型。
報道稱，月之暗面的整個多模態(tài)研究早在去年 10 月就已開始。接近該公司人士稱，目前正有 10 人左右的團(tuán)隊在研發(fā)視頻模型，為確保產(chǎn)品更具差異性，對外發(fā)布計劃仍在推遲。
資料顯示，譚旭在離開微軟研究院前擔(dān)任首席研究經(jīng)理，方向是生成式 AI、語音 / 音頻 / 視頻內(nèi)容生成，論文引用量達(dá)上萬次，他也曾擔(dān)任 NeurIPS 等學(xué)術(shù)會議期刊的審稿人；其多項語言、語音、音樂、視頻生成成果已應(yīng)用在 Azure、Bing 等微軟的產(chǎn)品與服務(wù)中。
譚旭加入月之暗面后的主要目標(biāo)之一，可能即是幫助月之暗面打造“類似 GPT-4o”的語音體驗。
注：OpenAI 今年 5 月發(fā)布多模態(tài)大模型 GPT-4o，基于端到端語音技術(shù)打造，具備更低延時、可隨時打斷等特性。隨后，OpenAI 于 9 月 25 日面向 ChatGPT Plus 付費用戶推送了高級語音功能。
此前，主流的語音方案是 ASR（自動語音識別）+LLM（大語言模型）+TTS（語音合成）：輸入端識別語音、轉(zhuǎn)化成文本；大模型處理內(nèi)容生成新文本；文本合成為語音、最終輸出。
但上述方案的不足在于機(jī)器響應(yīng)時間較長、人類無法隨時打斷，與人類的自然聊天狀態(tài)存在差距。相比之下，端到端省去了“語音轉(zhuǎn)文字再轉(zhuǎn)語音”的中間過程，可以壓縮機(jī)器響應(yīng)時間，人類也可隨時打斷機(jī)器。同時，端到端還可幫助改善“幻覺”：用戶可立即打斷輸出并給出新的提示詞。 
