10月30日消息，百川智能發(fā)布Baichuan2-192K大模型。其上下文窗口長度高達192K，能夠處理約35萬個漢字，是目前支持長上下文窗口最優(yōu)秀大模型Claude2（支持100K上下文窗口，實測約8萬字）的4.4倍，更是GPT-4（支持32K上下文窗口，實測約2.5萬字）的14倍。

據(jù)悉，今年9月25日，百川智能已開放了Baichuan2的API接口，正式進軍企業(yè)級市場，開啟商業(yè)化進程。此次Baichuan2-192K將以API調(diào)用和私有化部署的方式提供給企業(yè)用戶，目前百川智能已經(jīng)啟動Baichuan2-192K的API內(nèi)測，開放給法律、媒體、金融等行業(yè)的核心合作伙伴。

上下文窗口長度是大模型的核心技術(shù)之一，通過更大的上下文窗口，模型能夠結(jié)合更多上下文內(nèi)容獲得更豐富的語義信息，更好的捕捉上下文的相關(guān)性、消除歧義，進而更加準確、流暢的生成內(nèi)容，提升模型能力。

百川智能稱，Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10項中英文長文本問答、摘要的評測集上表現(xiàn)優(yōu)異，有7項取得SOTA，顯著超過其他長窗口模型。

此外，LongEval的評測結(jié)果顯示，在窗口長度超過100K后Baichuan2-192K依然能夠保持非常強勁的性能，而其他開源或者商用模型在窗口增長后效果都出現(xiàn)了近乎直線下降的情況。

本次百川發(fā)布的Baichuan2-192K通過算法和工程的極致優(yōu)化，實現(xiàn)了窗口長度和模型性能之間的平衡，做到了窗口長度和模型性能的同步提升。

算法方面，百川智能提出了一種針對RoPE和ALiBi動態(tài)位置編碼的外推方案，該方案能夠?qū)Σ煌L度的ALiBi位置編碼進行不同程度的Attention-mask動態(tài)內(nèi)插，在保證分辨率的同時增強了模型對長序列依賴的建模能力。在長文本困惑度標準評測數(shù)據(jù)PG-19上，當(dāng)窗口長度擴大，Baichuan2-192K的序列建模能力持續(xù)增強。

工程方面，在自主開發(fā)的分布式訓(xùn)練框架基礎(chǔ)上，百川智能整合目前市場上所有先進的優(yōu)化技術(shù)，包括張量并行、流水并行、序列并行、重計算以及Offload功能等，獨創(chuàng)了一套全面的4D并行分布式方案。該方案能夠根據(jù)模型具體的負載情況，自動尋找最適合的分布式策略，極大降低了長窗口訓(xùn)練和推理過程中的顯存占用。

百川智能在算法和工程上針對長上下文窗口的創(chuàng)新，不僅是大模型技術(shù)層面的突破，對于學(xué)術(shù)領(lǐng)域同樣有著重要意義。Baichuan2-192K驗證了長上下文窗口的可行性，為大模型性能提升開拓出了新的科研路徑。

Baichuan2-192K現(xiàn)已正式開啟內(nèi)測，以API調(diào)用的方式開放給百川智能的核心合作伙伴，已經(jīng)與財經(jīng)類媒體及律師事務(wù)所等機構(gòu)達成了合作，將Baichuan2-192K全球領(lǐng)先的長上下文能力應(yīng)用到了傳媒、金融、法律等具體場景當(dāng)中，不久后將全面開放。

值得注意的是，Baichuan2-192K能夠一次性處理和分析數(shù)百頁的材料，對于長篇文檔關(guān)鍵信息提取與分析，長文檔摘要、長文檔審核、長篇文章或報告編寫、復(fù)雜編程輔助等真實場景都有助力作用。

據(jù)介紹，它可以幫助基金經(jīng)理總結(jié)和解釋財務(wù)報表，分析公司的風(fēng)險和機遇；幫助律師識別多個法律文件中的風(fēng)險，審核合同和法律文件；幫助技術(shù)人員閱讀數(shù)百頁的開發(fā)文檔，并回答技術(shù)問題；還能幫助科員人員快速瀏覽大量論文，總結(jié)最新的前沿進展。（一橙）

總結(jié)

以上是生活随笔為你收集整理的百川智能推出Baichuan2-192K大模型，一次可输入35万个汉字的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。