vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)
生活随笔
收集整理的這篇文章主要介紹了
vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
11 月 9 日消息,在近日的 2023 vivo 開發者大會上,vivo 宣布率先開源 70 億參數級的藍心大模型 7B 以及對應的微調框架。
按照承諾,vivo 現已在 Hugging Face 上正式開源了 BlueLM-7B,小伙伴可在 vivo AI Lab 主頁下載。
BlueLM-7B 開源大模型包括 7B 基礎模型和 7B 對話模型,同時 vivo 開源了支持 32K 的長文本基礎模型和對話模型。
據介紹,BlueLM 采用高質量語料庫進行訓練,規模達到了 2.6 萬億 的 token 數,該語料庫包含中文、英文以及少量日韓數據。其中 BlueLM-7B-Chat 在 C-Eval 和 CMMLU 上均取得領先結果。
BlueLM-7B-Base-32K 和 BlueLM-7B-Chat-32K 均支持 32K 長文本,在保持基礎能力相當情況下,能夠支持更長上下文理解。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的vivo 自研蓝心大模型 7B 向全行业开源,2.6 万亿 token(附下载地址)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 文学巨匠老舍的不解佛缘
- 下一篇: 拜佛时为何双手翻掌?