MOSS！今日正式開源上線

復旦大學自然語言處理實驗室開發的新版 MOSS 模型今日正式上線，成為國內首個插件增強的開源對話語言模型。

目前，MOSS 模型已上線開源，相關代碼、數據、模型參數已在 Github 和 Hugging Face 等平臺開放，供科研人員下載。

據介紹，MOSS 是一個支持中英雙語和多種插件的開源對話語言模型，moss-moon 系列模型具有 160 億參數，在 FP16 精度下可在單張 A100 / A800 或兩張 3090 顯卡運行，在 INT4/8 精度下可在單張 3090 顯卡運行。MOSS 基座語言模型在約七千億中英文以及代碼單詞上預訓練得到，后續經過對話指令微調、插件增強學習和人類偏好訓練具備多輪對話能力及使用多種插件的能力。

MOSS 來自復旦大學自然語言處理實驗室的邱錫鵬教授團隊，名字與《流浪地球》電影中的 AI 同名，已發布至公開平臺（https://moss.fastnlp.top/），邀請公眾參與內測。

通過查看 MOSS 的 GitHub 頁面發現，該項目所含代碼采用 Apache 2.0 協議，數據采用 CC BY-NC 4.0 協議，模型權重采用 GNU AGPL 3.0 協議。如需將該項目所含模型用于商業用途或公開部署，需要簽署文件并發送至 robot@fudan.edu.cn 取得授權，商用情況僅用于記錄，不會收取任何費用。

模型

• moss-moon-003-base: MOSS-003 基座模型，在高質量中英文語料上自監督預訓練得到，預訓練語料包含約 700B 單詞，計算量約 6.67x1022 次浮點數運算。

• moss-moon-003-sft: 基座模型在約 110 萬多輪對話數據上微調得到，具有指令遵循能力、多輪對話能力、規避有害請求能力。

• moss-moon-003-sft-plugin: 基座模型在約 110 萬多輪對話數據和約 30 萬插件增強的多輪對話數據上微調得到，在 moss-moon-003-sft 基礎上還具備使用搜索引擎、文生圖、計算器、解方程等四種插件的能力。

• moss-moon-003-pm: 在基于 moss-moon-003-sft 收集到的偏好反饋數據上訓練得到的偏好模型，將在近期開源。

• moss-moon-003: 在 moss-moon-003-sft 基礎上經過偏好模型 moss-moon-003-pm 訓練得到的最終模型，具備更好的事實性和安全性以及更穩定的回復質量，將在近期開源。

• moss-moon-003-plugin: 在 moss-moon-003-sft-plugin 基礎上經過偏好模型 moss-moon-003-pm 訓練得到的最終模型，具備更強的意圖理解能力和插件使用能力，將在近期開源。

數據

• moss-002-sft-data: MOSS-002 所使用的多輪對話數據，覆蓋有用性、忠實性、無害性三個層面，包含由 text-davinci-003 生成的約 57 萬條英文對話和 59 萬條中文對話。

• moss-003-sft-data: moss-moon-003-sft 所使用的多輪對話數據，基于 MOSS-002 內測階段采集的約 10 萬用戶輸入數據和 gpt-3.5-turbo 構造而成，相比 moss-002-sft-data，moss-003-sft-data 更加符合真實用戶意圖分布，包含更細粒度的有用性類別標記、更廣泛的無害性數據和更長對話輪數，約含 110 萬條對話數據。目前僅開源少量示例數據，完整數據將在近期開源。

• moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增強的多輪對話數據，包含支持搜索引擎、文生圖、計算器、解方程等四個插件在內的約 30 萬條多輪對話數據。目前僅開源少量示例數據，完整數據將在近期開源。

• moss-003-pm-data: moss-moon-003-pm 所使用的偏好數據，包含在約 18 萬額外對話上下文數據及使用 moss-moon-003-sft 所產生的回復數據上構造得到的偏好對比數據，將在近期開源。