6 月 20 日消息，B站昨日開源了輕量級 Index-1.9B 系列模型，包含基座模型、對照組、對話模型、角色扮演模型等多個版本。

附官方簡介：

• Index-1.9B base ： 基座模型，具有 19 億非詞嵌入參數量，在 2.8T 中英文為主的語料上預訓練，多個評測基準上與同級別模型比處于領先。

• Index-1.9B pure ： 基座模型的對照組，與 base 具有相同的參數和訓練策略，不同之處在于嚴格過濾了該版本語料中所有指令相關的數據，以此來驗證指令對 benchmark 的影響。

• Index-1.9B chat ：基于 index-1.9B base 通過 SFT 和 DPO 對齊后的對話模型，由于預訓練中引入了較多互聯網社區語料，聊天的趣味性明顯更強。

• Index-1.9B character ：在 SFT 和 DPO 的基礎上引入了 RAG 來實現 fewshots 角色扮演定制。

據介紹，該模型在預訓練階段使用了 2.8T 規模的數據，中英比例為 4:5，代碼占比 6%。目前，角色扮演模型內置了角色“三三”，用戶也可以按需創建自己的角色。

項目地址：https://github.com/bilibili/Index-1.9B/blob/main/README.md

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

投訴水文 我要糾錯

總結

以上是生活随笔為你收集整理的B站开源轻量级 Index-1.9B 系列模型：2.8T 训练数据，支持角色扮演的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。