復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室開發(fā)的新版 MOSS 模型今日正式上線，成為國(guó)內(nèi)首個(gè)插件增強(qiáng)的開源對(duì)話語(yǔ)言模型。
目前，MOSS 模型已上線開源，相關(guān)代碼、數(shù)據(jù)、模型參數(shù)已在 Github 和 Hugging Face 等平臺(tái)開放，供科研人員下載。
據(jù)介紹，MOSS 是一個(gè)支持中英雙語(yǔ)和多種插件的開源對(duì)話語(yǔ)言模型，moss-moon 系列模型具有 160 億參數(shù)，在 FP16 精度下可在單張 A100 / A800 或兩張 3090 顯卡運(yùn)行，在 INT4/8 精度下可在單張 3090 顯卡運(yùn)行。MOSS 基座語(yǔ)言模型在約七千億中英文以及代碼單詞上預(yù)訓(xùn)練得到，后續(xù)經(jīng)過對(duì)話指令微調(diào)、插件增強(qiáng)學(xué)習(xí)和人類偏好訓(xùn)練具備多輪對(duì)話能力及使用多種插件的能力。
MOSS 來(lái)自復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室的邱錫鵬教授團(tuán)隊(duì)，名字與《流浪地球》電影中的 AI 同名，已發(fā)布至公開平臺(tái)（https://moss.fastnlp.top/），邀請(qǐng)公眾參與內(nèi)測(cè)。
查看 MOSS 的 GitHub 頁(yè)面發(fā)現(xiàn)，該項(xiàng)目所含代碼采用 Apache 2.0 協(xié)議，數(shù)據(jù)采用 CC BY-NC 4.0 協(xié)議，模型權(quán)重采用 GNU AGPL 3.0 協(xié)議。如需將該項(xiàng)目所含模型用于商業(yè)用途或公開部署，需要簽署文件并發(fā)送至 robot@fudan.edu.cn 取得授權(quán)，商用情況僅用于記錄，不會(huì)收取任何費(fèi)用。
MOSS 用例：
▲ 解方程
▲ 生成圖片
▲ 無(wú)害性測(cè)試
模型
moss-moon-003-base: MOSS-003 基座模型，在高質(zhì)量中英文語(yǔ)料上自監(jiān)督預(yù)訓(xùn)練得到，預(yù)訓(xùn)練語(yǔ)料包含約 700B 單詞，計(jì)算量約 6.67x1022 次浮點(diǎn)數(shù)運(yùn)算。
moss-moon-003-sft: 基座模型在約 110 萬(wàn)多輪對(duì)話數(shù)據(jù)上微調(diào)得到，具有指令遵循能力、多輪對(duì)話能力、規(guī)避有害請(qǐng)求能力。
moss-moon-003-sft-plugin: 基座模型在約 110 萬(wàn)多輪對(duì)話數(shù)據(jù)和約 30 萬(wàn)插件增強(qiáng)的多輪對(duì)話數(shù)據(jù)上微調(diào)得到，在 moss-moon-003-sft 基礎(chǔ)上還具備使用搜索引擎、文生圖、計(jì)算器、解方程等四種插件的能力。
moss-moon-003-pm: 在基于 moss-moon-003-sft 收集到的偏好反饋數(shù)據(jù)上訓(xùn)練得到的偏好模型，將在近期開源。
moss-moon-003: 在 moss-moon-003-sft 基礎(chǔ)上經(jīng)過偏好模型 moss-moon-003-pm 訓(xùn)練得到的最終模型，具備更好的事實(shí)性和安全性以及更穩(wěn)定的回復(fù)質(zhì)量，將在近期開源。
moss-moon-003-plugin: 在 moss-moon-003-sft-plugin 基礎(chǔ)上經(jīng)過偏好模型 moss-moon-003-pm 訓(xùn)練得到的最終模型，具備更強(qiáng)的意圖理解能力和插件使用能力，將在近期開源。
數(shù)據(jù)
moss-002-sft-data: MOSS-002 所使用的多輪對(duì)話數(shù)據(jù)，覆蓋有用性、忠實(shí)性、無(wú)害性三個(gè)層面，包含由 text-davinci-003 生成的約 57 萬(wàn)條英文對(duì)話和 59 萬(wàn)條中文對(duì)話。
moss-003-sft-data: moss-moon-003-sft 所使用的多輪對(duì)話數(shù)據(jù)，基于 MOSS-002 內(nèi)測(cè)階段采集的約 10 萬(wàn)用戶輸入數(shù)據(jù)和 gpt-3.5-turbo 構(gòu)造而成，相比 moss-002-sft-data，moss-003-sft-data 更加符合真實(shí)用戶意圖分布，包含更細(xì)粒度的有用性類別標(biāo)記、更廣泛的無(wú)害性數(shù)據(jù)和更長(zhǎng)對(duì)話輪數(shù)，約含 110 萬(wàn)條對(duì)話數(shù)據(jù)。目前僅開源少量示例數(shù)據(jù)，完整數(shù)據(jù)將在近期開源。
moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增強(qiáng)的多輪對(duì)話數(shù)據(jù)，包含支持搜索引擎、文生圖、計(jì)算器、解方程等四個(gè)插件在內(nèi)的約 30 萬(wàn)條多輪對(duì)話數(shù)據(jù)。目前僅開源少量示例數(shù)據(jù)，完整數(shù)據(jù)將在近期開源。
moss-003-pm-data: moss-moon-003-pm 所使用的偏好數(shù)據(jù)，包含在約 18 萬(wàn)額外對(duì)話上下文數(shù)據(jù)及使用 moss-moon-003-sft 所產(chǎn)生的回復(fù)數(shù)據(jù)上構(gòu)造得到的偏好對(duì)比數(shù)據(jù)，將在近期開源。 
