11 月 10 日消息，大語(yǔ)言模型（LLM）快速崛起，在語(yǔ)言生成和理解方面表現(xiàn)出光明的前景，影響超越了語(yǔ)言領(lǐng)域，延伸到邏輯、數(shù)學(xué)、物理學(xué)等領(lǐng)域。

不過(guò)想要解鎖這些“非凡能量”，需要付出高額的代價(jià)，例如訓(xùn)練 540B 模型，需要 Project PaLM 的 6144 個(gè) TPUv4 芯片；而訓(xùn)練 175B 的 GPT-3，需要數(shù)千 Petaflop/s-day。

目前一個(gè)不錯(cuò)的解決方案就是低精度訓(xùn)練，可以提高處理速度，降低內(nèi)存使用量和通信成本。包括 Megatron-LM、MetaSeq 和 Colossal-AI 等主流訓(xùn)練系統(tǒng)，默認(rèn)使用 FP16 / BF16 混合精度或 FP32 全精度來(lái)訓(xùn)練大型語(yǔ)言模型。

雖然這些精度水平對(duì)于大語(yǔ)言模型來(lái)說(shuō)是必不可少的，但它們的計(jì)算成本很高。

如果采用 FP8 低精度，可以將速度提高 2 倍、內(nèi)存成本降低 50% 至 75%，并且可節(jié)省通信成本。

目前只有 Nvidia Transformer Engine 兼容 FP8 框架，主要利用這種精度進(jìn)行 GEMM（通用矩陣乘法）計(jì)算，同時(shí)以 FP16 或 FP32 高精度保持主權(quán)重和梯度。

為了應(yīng)對(duì)這一挑戰(zhàn)，來(lái)自 Microsoft Azure 和 Microsoft Research 的一組研究人員推出了一個(gè)高效的 FP8 混合精度框架，專為大型語(yǔ)言模型訓(xùn)練量身定制。

微軟引入了三個(gè)優(yōu)化階段，利用 FP8 進(jìn)行分布式和混合精度訓(xùn)練。隨著這些層級(jí)的進(jìn)展，F(xiàn)P8 集成程度的提高變得明顯，這表明對(duì) LLM 訓(xùn)練過(guò)程的影響更大。

此外為了克服數(shù)據(jù)溢出或下溢等問(wèn)題，微軟研究人員提出自動(dòng)采樣和精確解耦兩種關(guān)鍵方法，前者涉及對(duì)精度不敏感的組件降低精度，動(dòng)態(tài)調(diào)整 Tensor 采樣因子，以確保梯度值保持在 FP8 表示范圍內(nèi)。這可以防止全減少通信期間的下溢和溢流事件，確保培訓(xùn)過(guò)程更加順暢。

微軟經(jīng)過(guò)測(cè)試，與廣泛采用的 BF16 混合精度方法相比，內(nèi)存占用減少 27% 至 42%，權(quán)重梯度通信開(kāi)銷顯著降低 63% 至 65%。運(yùn)行速度比廣泛采用的 BF16 框架（例如 Megatron-LM）快了 64%，比 Nvidia Transformer Engine 的速度快了 17%。

在訓(xùn)練 GPT-175B 模型時(shí)，混合 FP8 精度框架在 H100 GPU 平臺(tái)上節(jié)省 21% 的內(nèi)存，而且相比較 TE（Transformer Engine），訓(xùn)練時(shí)間減少 17%。

在此附上 GitHub 地址和論文地址：https://doi.org/10.48550/arXiv.2310.18313

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，所有文章均包含本聲明。

總結(jié)

以上是生活随笔為你收集整理的微软推出 FP8 混合精度训练框架：比 BF16 快 64%，内存占用少 42%的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。