北京智源人工智能研究院今日發(fā)布“悟界”系列大模型，包括全球首個原生多模態(tài)世界模型“悟界 Emu3”、全球首個腦科學(xué)多模態(tài)通用基礎(chǔ)模型“悟界 見微 Brainμ”。

智源研究院還發(fā)布了悟界 具身智能大模型，包括全球首個支持 MCP 的跨本體大小腦協(xié)作框架悟界 RoboOS 2.0、具身大腦大模型悟界 RoboBrain 2.0 和全原子微觀生命模型悟界 OpenComplex2 也一并發(fā)布。

去年 10 月，智源研究院發(fā)布了原生多模態(tài)世界模型 Emu3。據(jù)IT之家此前報道，該模型只基于下一個 token 預(yù)測，無需擴(kuò)散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實現(xiàn)圖像、文本、視頻大一統(tǒng)。Emu3 支持多模態(tài)輸入、多模態(tài)輸出的端到端映射，驗證了自回歸框架在多模態(tài)領(lǐng)域的普適性與先進(jìn)性，為跨模態(tài)交互提供了強(qiáng)大的技術(shù)基座。

見微 Brainμ 基于 Emu3 底層架構(gòu)，將 fMRI、EEG、雙光子等神經(jīng)科學(xué)與腦醫(yī)學(xué)相關(guān)的腦信號統(tǒng)一 token 化，利用預(yù)訓(xùn)練模型多模態(tài)對齊的優(yōu)勢，可以實現(xiàn)多模態(tài)腦信號與文本、圖像等模態(tài)的多向映射，并實現(xiàn)跨任務(wù)、跨模態(tài)、跨個體的統(tǒng)一通用建模，以單一模型完成多種神經(jīng)科學(xué)的下游任務(wù)。

　　▲ Emu3 生成的圖像