开源大模型超越 GPT-3.5！爆火 MoE 实测结果出炉，网友：OpenAI 越来越没护城河了
一條神秘磁力鏈接引爆整個(gè) AI 圈，現(xiàn)在，正式測(cè)評(píng)結(jié)果終于來(lái)了：
首個(gè)開(kāi)源 MoE 大模型 Mixtral 8x7B，已經(jīng)達(dá)到甚至超越了 Llama 2 70B 和 GPT-3.5 的水平。
（對(duì)，就是傳聞中 GPT-4 的同款方案。）
并且由于是稀疏模型，處理每個(gè) token 僅用了 12.9B 參數(shù)就做到了這般成績(jī)，其推理速度和成本也與 12.9B 的密集模型相當(dāng)。
消息一出，再次在社交媒體上掀起討論熱潮。
OpenAI 創(chuàng)始成員 Andrej Karpathy 第一時(shí)間趕到現(xiàn)場(chǎng)整理起了筆記，還高亮出了重點(diǎn)：這家“歐版 OpenAI”透露出的最強(qiáng)模型，還只是“中杯”。
p.s. Mixtral 8×7B 甚至只是小杯……
英偉達(dá) AI 科學(xué)家 Jim Fan 則贊說(shuō)：
每個(gè)月都會(huì)有十幾個(gè)新的模型冒出來(lái)，但真正能經(jīng)得住檢驗(yàn)的卻寥寥無(wú)幾，能引發(fā)大家伙熱烈關(guān)注的就更少了。
并且這波啊，不僅是模型背后公司 Mistral AI 大受關(guān)注，也帶動(dòng) MoE（Mixture of Experts）再次成為開(kāi)源 AI 社區(qū)的最火議題。
HuggingFace 官方就趁熱發(fā)布了一篇 MoE 的解析博文，同樣打出了“轉(zhuǎn)發(fā)如潮”的效果。
值得關(guān)注的是，Mistral AI 的最新估值已經(jīng)沖破 20 億美元，在短短 6 個(gè)月中增長(zhǎng)了 7 倍多……
基本超越 Llama 2 70B
說(shuō)起來(lái)，Mistral AI 這家公司也是不走尋常路。隔壁大廠前腳剛轟轟烈烈搞發(fā)布會(huì)，慢慢悠悠發(fā)模型，他們可倒好，直接來(lái)了個(gè)程序顛倒：
先甩鏈接開(kāi)放下載，又給 vLLM 項(xiàng)目（一個(gè)大模型推理加速工具）提了 PR，最后才想起來(lái)發(fā)布技術(shù)博客給自家模型整了個(gè)正經(jīng)官宣。
△ 模型一開(kāi)始是醬嬸發(fā)布的
那么還是先來(lái)看看，官方給出了哪些信息，與這兩天吃瓜群眾自己扒出來(lái)的細(xì)節(jié)有何不同。
首先，官方自信地表示：
Mixtral 8×7B 在大多數(shù)基準(zhǔn)測(cè)試中都優(yōu)于 Llama 2 70B，推理速度快了 6 倍。
它是最強(qiáng)大的、具有寬松許可的開(kāi)放權(quán)重模型，也是最佳性價(jià)比之選。
具體來(lái)說(shuō)，Mixtral 采用了稀疏混合專家網(wǎng)絡(luò)，是一個(gè) decoder-only 的模型。在其中，前饋塊會(huì)從 8 組不同的參數(shù)組中進(jìn)行選擇 ——
也就是說(shuō)，實(shí)際上，Mixtral 8×7B 并不是 8 個(gè) 7B 參數(shù)模型的集合，僅僅是 Transformer 中的前饋塊有不同的 8 份。
這也就是為什么 Mixtral 的參數(shù)量并不是 56B，而是 46.7B。
其特點(diǎn)包括以下幾個(gè)方面：
在大多數(shù)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)于 Llama 2 70B，甚至足以擊敗 GPT-3.5
上下文窗口為 32k
可以處理英語(yǔ)、法語(yǔ)、意大利語(yǔ)、德語(yǔ)和西班牙語(yǔ)
在代碼生成方面表現(xiàn)優(yōu)異
遵循 Apache 2.0 許可（免費(fèi)商用）
具體測(cè)試結(jié)果如下：
另外，在幻覺(jué)問(wèn)題方面，Mixtral 的表現(xiàn)也優(yōu)于 Llama 2 70B：
在 TruthfulQA 基準(zhǔn)上的成績(jī)是 73.9% vs 50.2%；在 BBQ 基準(zhǔn)上呈現(xiàn)更少的偏見(jiàn)；在 BOLD 上，Mixtral 顯示出比 Llama 2 更積極的情緒。
此次與 Mixtral 8×7B 基礎(chǔ)版本一起發(fā)布的，還有 Mixtral 8x7B Instruct 版本。后者經(jīng)過(guò) SFT 和 DPO 優(yōu)化，在 MT-Bench 上拿到了 8.3 的分?jǐn)?shù)，跟 GPT-3.5 差不多，優(yōu)于其他開(kāi)源大模型。
目前，Mistral 官方已經(jīng)宣布上線 API 服務(wù)，不過(guò)還是邀請(qǐng)制，未受邀用戶需要排隊(duì)等待。
值得關(guān)注的是，API 分為三個(gè)版本：
小小杯（Mistral-tiny），對(duì)應(yīng)模型是 Mistral 7B Instruct；
小杯（Mistral-small），對(duì)應(yīng)模型是這次發(fā)布的 Mixtral 8×7B；
中杯（Mistral-medium），對(duì)應(yīng)的模型尚未公布，但官方透露其在 MT-Bench 上的得分為 8.6 分。
有網(wǎng)友直接把 GPT-4 拉過(guò)來(lái)對(duì)比了一下。可以看到，中杯模型在 WinoGrande（常識(shí)推理基準(zhǔn)）上的得分超過(guò)了 GPT-4。
價(jià)格方面，小小杯到中杯的輸入和輸出價(jià)格分別是每一百萬(wàn) token0.14~2.5 歐元和 0.42~7.5 歐元不等，嵌入模型則是 0.1 歐元每百萬(wàn) token（1 歐元約合 7.7 人民幣）。
而在線版本，目前還只能到第三方平臺(tái)（Poe、HuggingFace 等）體驗(yàn)。
能看懂中文，但不太愿意說(shuō)
雖然官方通告中并沒(méi)有說(shuō)支持中文，但我們實(shí)測(cè)（HuggingFace Chat 中的在線版，模型為 Instruct 版本）發(fā)現(xiàn)，Mixtral 至少在理解層面上已經(jīng)具備一定中文能力了。
生成層面上，Mixtral 不太傾向于用中文來(lái)回答，但如果指明的話也能得到中文回復(fù)，不過(guò)還是有些中英混雜的情況。
面對(duì)更多的“弱智吧”問(wèn)題，Mixtral 的回答雖中規(guī)中矩，但看上去至少已經(jīng)理解了字面含義。
數(shù)學(xué)方面，面對(duì)經(jīng)典的雞兔同籠問(wèn)題，Mixtral 的回答從過(guò)程到結(jié)果都完全正確。
即使是高等數(shù)學(xué)問(wèn)題，比如復(fù)雜的函數(shù)求導(dǎo)，Mixtral 也能給出正確答案，更難能可貴的是過(guò)程沒(méi)什么問(wèn)題。
而此次的官方通告中專門強(qiáng)調(diào)了 Mixtral 的代碼能力很強(qiáng)，所以也受到了我們的重點(diǎn)考察。
一道困難難度的 LeetCode 下來(lái)，Mixtral 給出的代碼一次就通過(guò)了測(cè)試。
給你一個(gè)未排序的整數(shù)數(shù)組 nums，請(qǐng)你找出其中沒(méi)有出現(xiàn)的最小的正整數(shù)。
請(qǐng)你實(shí)現(xiàn)時(shí)間復(fù)雜度為 O (n) 并且只使用常數(shù)級(jí)別額外空間的解決方案。
但隨著我們繼續(xù)提問(wèn)，Mixtral 的回答一不小心暴露了自己可能專門針對(duì) LeetCode 做過(guò)訓(xùn)練，而且還是中文版 LC。
為了更加真實(shí)地展示 Mixtral 的代碼能力，我們轉(zhuǎn)而讓它編寫實(shí)用程序 —— 用 JS 寫一個(gè) Web 版計(jì)算器。
經(jīng)過(guò)幾輪調(diào)整之后，雖然按鈕的布局有些奇怪，但基本的四則運(yùn)算已經(jīng)可以完成了。
此外我們會(huì)發(fā)現(xiàn)，如果在同一個(gè)對(duì)話窗口中不斷補(bǔ)充新的要求，Mixtral 的表現(xiàn)可能會(huì)有所下降，出現(xiàn)代碼格式混亂等問(wèn)題，開(kāi)啟新一輪對(duì)話后則會(huì)恢復(fù)正常。
除了 API 和在線版本，Mistral AI 還提供了模型下載服務(wù)，可以用??上的磁力鏈接或通過(guò) Hugging Face 下載之后在本地部署。
在??上，已經(jīng)有不少網(wǎng)友在自己的設(shè)備上跑起了 Mixtral，還給出了性能數(shù)據(jù)。
在 128GB 內(nèi)存的蘋果 M3 Max 設(shè)備上，使用 16 位浮點(diǎn)精度運(yùn)行 Mixtral 時(shí)消耗了 87GB 顯存，每秒可以跑 13 個(gè) token。
同時(shí)也有網(wǎng)友在 M2 Ultra 上通過(guò) llama.cpp 跑出了每秒 52token 的速度。
看到這里，你會(huì)給 Mistral AI 的模型實(shí)力打幾分？
不少網(wǎng)友是已經(jīng)興奮起來(lái)了：
“OpenAI 沒(méi)有護(hù)城河”，看起來(lái)肯定會(huì)成為現(xiàn)實(shí)……
要知道，Mistral AI 今年 5 月才剛剛成立。
短短半年，已是一手 20 億美元估值，一手驚艷整個(gè) AI 社區(qū)的模型。
更關(guān)鍵的是，普林斯頓博士生 Tianle Cai 分析了 Mistral-7B 與 Mixtral-8x7B 模型的權(quán)重相關(guān)性做了分析，證明了模型的成功復(fù)用。
隨后網(wǎng)友發(fā)現(xiàn)，Mistral AI 創(chuàng)始人也親自證實(shí)，MoE 模型確實(shí)就是把 7B 基礎(chǔ)模型復(fù)制 8 次，再進(jìn)一步訓(xùn)練來(lái)的。
隨著此類模型的免費(fèi)商用，整個(gè)開(kāi)源社區(qū)、新的創(chuàng)業(yè)公司都可以在此基礎(chǔ)之上推動(dòng) MoE 大模型的發(fā)展，就像 Llama 已然帶動(dòng)的風(fēng)暴那樣。
作為吃瓜群眾，只能說(shuō)：
參考鏈接：
[1]https://mistral.ai/news/mixtral-of-experts/
[2]https://mistral.ai/news/la-plateforme/
[3]https://huggingface.co/blog/mixtral#about-the-name
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：克雷西 魚(yú)羊
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，所有文章均包含本聲明。
總結(jié)
以上是生活随笔為你收集整理的开源大模型超越 GPT-3.5！爆火 MoE 实测结果出炉，网友：OpenAI 越来越没护城河了的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 微软考虑推出带广告的 Xbox Game
- 下一篇： Streamview 推出新款诺基亚 4