小模型的風潮，最近愈來愈盛，Mistral 和微軟分別有所動作。而網友實測發現，Mistral-medium 的代碼能力竟然完勝了 GPT-4，而所花成本還不到三分之一。

最近，「小語言模型」忽然成為熱點。本周一，剛剛完成 4.15 億美元融資的法國 AI 初創公司 Mistral，發布了 Mixtral 8x7B 模型。

這個開源模型盡管尺寸不大，小到足以在一臺內存 100GB 以上的電腦上運行，然而在某些基準測試中卻能和 GPT-3.5 打平，因此迅速在開發者中贏得了一片稱贊。

之所以叫 Mixtral 8x7B，是因為它結合了為處理特定任務而訓練的各種較小模型，從而提高了運行效率。

這種「稀疏專家混合」模型并不容易實現，據說 OpenAI 在今年早些時候因為無法讓 MoE 模型正常運行，而不得不放棄了模型的開發。

緊接著，就在第二天，微軟又發布了全新版本的 Phi-2 小模型。

跟 Mistral 的 70 億參數比，Phi-2 小到可以在手機上跑，只有 27 億參數。相比之下，GPT-4 的參數達到了一萬億。

Phi-2 在精心挑選的數據集上進行了訓練，數據集的質量足夠高，因此即使手機的計算能力有限，也能確保模型生成準確的結果。

雖然還不清楚微軟或其他軟件制造商將如何使用小型模型，但最明顯的好處，就是降低了大規模運行 AI 應用的成本，并且極大地拓寬了生成式 AI 技術的應用范圍。

這是一件大事。

Mistral-medium 代碼生成完勝 GPT-4

最近，Mistral-medium 已經開放內測。

有博主對比了開源的 Mistral-medium 和 GPT-4 的代碼生成能力，結果顯示，Mistral-medium 比 GPT-4 的代碼能力更強，然而成本卻只需 GPT-4 的 3 成！

總價來說就是：

1）Mistral 會始終完成工作，完成度很高；

2）不會在冗長的解釋性輸出上浪費 token；

3）提供的建議非常具體。

第一題，「編寫用于生成斐波那契素數的 PyTorch 數據集的 cuda 優化代碼」。

Mistral-Medium 生成的代碼嚴肅、完整。

而 GPT-4 生成的代碼，就差強人意了。

浪費了很多 token，卻沒有輸出有用的信息。

然后，GPT-4 只給出了骨架代碼，并沒有具體的相關代碼。

第二道題：「編寫高效的 Python 代碼，將大約 10 億個大型 Apache HTTP 訪問文件攝取到 SqlLite 數據庫中，并使用它來生成對 sales.html 和 product.html 的訪問直方圖」。

Mistral 的輸出非常精彩，雖然 log 不是 CSV 格式的，但修改起來很容易。

GPT-4 依舊拉跨。

此前，這位博主測試過多個代碼生成模型，GPT-4 一直穩居第一。而現在，把它拉下寶座的強勁對手 Mistral-medium 終于出現了。雖然只發布了兩個例子，但博主測試了多個問題，結果都差不多。

他建議：鑒于 Mistral-medium 在代碼生成質量上有更好的體驗，應該把它整合到各地的代碼 copilot 中。

有人按照每 1000token 算出了輸入和輸出的成本，發現 Mistral-medium 比起 GPT-4 直接降低了 70%！

的確，節省了 70% 的 token 費用，可不是一件小事。甚至還可以通過不冗長的輸出，來進一步節省成本。

參考資料：

• https://www.theinformation.com/articles/the-rise-of-small-language-models-and-reinforcement-learning

• https://twitter.com/deliprao/status/1734997263024329157

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

投訴水文 我要糾錯

總結

以上是生活随笔為你收集整理的Mistral 携微软引爆“小语言模型”风潮：代码能力完胜 GPT-4，成本仅有 1/3的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。