【網易科技9月12日報道】近日，記者獲悉，地平線成功在旭日3中的BPU?計算單元上，部署運行參數規模高達14億的大語言模型。

據介紹，此次部署源于旭日3所搭載的雙核BPU?伯努利計算單元對神經網絡計算的原生性支持，能夠在處理大語言模型方面提供高性能、低功耗的計算處理能力。

另一方面，地平線通過軟硬協同編譯，采用算子重寫、算子重排、算子融合和KV-Cache等技術，優化了模型結構，實現推理速度的提升。

據了解，該模型的運行效能相較于LLaMA.cpp等純CPU方案有所提升。這也意味著，旭日3對此大語言模型的支持性可達到產品級應用水平。（江淼）

總結

以上是生活随笔為你收集整理的快讯|地平线旭日3成功部署14亿参数大语言模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。