昨天在github上看到一個在本地部署中文大模型的項目，和大家分享一下。先把地址po出來。

項目名稱：中文LLaMA&Alpaca大語言模型+本地部署 (Chinese LLaMA & Alpaca LLMs)
項目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca

以下是原github中給出的體驗GIF，可以看到這個模型還是具備一定的指令理解和上下文對話能力的。

由于模型使用的是LoRA（一種高效模型訓練方法），所以整個模型的參數量是比較小的（壓縮包大概不到800M），但是需要和原版Facebook的權重進行結合才能使用。其實Facebook開源了，但又沒完全開源，薛定諤的貓（滑稽）。所以大家自己想辦法去搞到原版權重吧。

整個合并流程在原項目里寫的都比較清楚，大家可以自己去看一下，需要alpaca-lora和llama.cpp兩個工具。
具體步驟就不贅述了，感興趣的看一下項目中的描述。

我使用的是蘋果M1芯片，整體上沒遇到什么麻煩，很順利的就完成了模型量化過程，最終模型大概是4G。接下來就可以歡快地在本地玩耍了。解碼參數就用的項目中提供的默認配置。

接下來就用量化后的模型測一下效果。需要注意的是量化后會有精度損失，效果應該是沒有完整版的好，但好在速度快。

我先問一個關于溫室效應的問題

整體上我覺得答得還是蠻不錯的，而且也具備一些上下文的理解能力，而不是單輪能力。

再問一個數學問題

可以看到這里的回答不盡人意，也是很多開源模型的硬傷，對數值計算和推理方面不是很在行。

如何制作宮保雞丁？

可以看到制作宮保雞丁的一些要素是包含了，但是可以想象出這個做出來可能并不是宮保雞丁 😂

寫一封信

寫信方面做的還是不錯的，雖然里面有一些小細節還需要再斟酌和修改。

最后再來幾個翻譯吧

整體翻譯的還是不錯的，沒有什么大毛病。

總結

整體而言，該模型具備一定的中文理解能力，也有類似ChatGPT的指令執行和上下文理解能力，對于一些常規的非推理類的任務來說還是比較好的。但也能看到在數學、推理、代碼等場景效果不好。這可能是因為訓練數據里沒有涉及太多這部分數據的關系。相信之后會有更多類似的模型出現，進一步降低大模型的門檻。

總結

以上是生活随笔為你收集整理的【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。