【網(wǎng)易科技11月6日?qǐng)?bào)道】今日，零一萬(wàn)物創(chuàng)始人及CEO李開(kāi)復(fù)博士帶隊(duì)創(chuàng)辦的AI 2.0公司零一萬(wàn)物，宣布開(kāi)源發(fā)布首款預(yù)訓(xùn)練大模型 Yi-34B。零一萬(wàn)物此次開(kāi)源發(fā)布的Yi系列模型，包含34B和6B兩個(gè)版本。

據(jù)了解，在 “MMLU”、BBH等評(píng)測(cè)上，Yi-34B 表現(xiàn)較好，但數(shù)學(xué)和代碼評(píng)測(cè)表現(xiàn)略遜GPT模型。

據(jù)介紹，此次開(kāi)源的Yi-34B模型，將發(fā)布可支持200K 超長(zhǎng)上下文窗口（context window）版本，可以處理約40萬(wàn)漢字超長(zhǎng)文本輸入。對(duì)比大模型標(biāo)桿GPT-4，在CMMLU、E-Eval、Gaokao 三個(gè)主要的中文指標(biāo)上，作為國(guó)產(chǎn)大模型的Yi-34B 能更好地滿足國(guó)內(nèi)市場(chǎng)需求。

目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開(kāi)源社區(qū)平臺(tái)上線，同時(shí)開(kāi)放商用申請(qǐng)，給開(kāi)發(fā)者在使用LLM的過(guò)程中提供更多選擇。

據(jù)悉，本次開(kāi)源的基座模型包括200K上下文窗口的基座模型，廣大開(kāi)發(fā)者可以基于基座模型進(jìn)行微調(diào)，GitHub 01Yi 開(kāi)源網(wǎng)頁(yè)上已經(jīng)提供了簡(jiǎn)單的微調(diào)代碼，同時(shí)模型和主流語(yǔ)言模型微調(diào)框架兼容，開(kāi)發(fā)者可以自行進(jìn)行適配。

在 Yi 開(kāi)源模型的全球首發(fā)日，李開(kāi)復(fù)也宣布，在完成 Yi-34B 預(yù)訓(xùn)練的同時(shí)，已經(jīng)旋即啟動(dòng)下一個(gè)千億參數(shù)模型的訓(xùn)練。“零一萬(wàn)物的數(shù)據(jù)處理管線、算法研究、實(shí)驗(yàn)平臺(tái)、GPU 資源和 AI Infra 都已經(jīng)準(zhǔn)備好，我們的動(dòng)作會(huì)越來(lái)越快”。李開(kāi)復(fù)表示。（沈伊）

總結(jié)

以上是生活随笔為你收集整理的零一万物宣布开源发布大模型 Yi-34B 李开复：已启动100B千亿参数模型的训练的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。