達到GPT4百分之90性能的小羊駝Vicuna

---

文章目錄

• 達到GPT4百分之90性能的小羊駝Vicuna
• 一、小羊駝Vicuna介紹
• 二、使用效果測評
• 三、小羊駝Vicuna安裝webui linux部署教程
• 總結(jié)踩坑經(jīng)驗

---

隨著chatgpt大火，很多人都開始學習chatgpt相關(guān)知識，本文就介紹一下最近很火的小羊駝Vicuna項目。

---

一、小羊駝Vicuna介紹

一群來自UCB（主導這個項目）、CMU、Stanford、UCSD的充滿熱情且能力強勁的學生共同實現(xiàn)了以合規(guī)，廉價和高效的方式做出真正意義上和ChatGPT-3.5 相當?shù)拈_源版本ChatGPT，GPT-4 給我們模型的“總分”最終達到了ChatGPT的90%

二、使用效果測評

話不多說先上圖，這是我們在服務器上部署Vicuna-13b測試的效果

讓小羊駝幫我寫了一個汽車的廣告

讓小羊駝幫我根據(jù)一段新聞生成標題

三、小羊駝Vicuna安裝webui linux部署教程

3.1 下載代碼安裝虛擬環(huán)境

下載代碼 git clone https://github.com/lm-sys/FastChat cd FastChat 使用conda安裝虛擬環(huán)境 我使用的是A100顯卡 python版本是3.8先安裝幾個單獨的包 # Install FastChat pip3 install fschat# Install the latest main branch of huggingface/transformers pip3 install git+https://github.com/huggingface/transformerspip3 install --upgrade pip # enable PEP 660 support pip3 install -e .

3.2 下載權(quán)重文件

然后開始下載權(quán)重文件，分別是13b和7b，需要主要是是你cpu的內(nèi)存要夠，64g最佳Vicuna-13B This conversion command needs around 60 GB of CPU RAM.python3 -m fastchat.model.apply_delta \--base /path/to/llama-13b \--target /output/path/to/vicuna-13b \--delta lmsys/vicuna-13b-delta-v0 Vicuna-7B This conversion command needs around 30 GB of CPU RAM.python3 -m fastchat.model.apply_delta \--base /path/to/llama-7b \--target /output/path/to/vicuna-7b \--delta lmsys/vicuna-7b-delta-v0 --base 是你原始的llama-7b 權(quán)重文件的路徑 --target 是你生成的小羊駝權(quán)重文件的存儲路徑

3.3 啟動命令
啟動方式分為命令行啟動和webui啟動方式
3.3.1 命令行啟動方式

單GPU啟動命令 The command below requires around 28GB of GPU memory for Vicuna-13B and 14GB of GPU memory for Vicuna-7B.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights 多GPU啟動命令 If you do not have enough GPU memory, you can use model parallelism to aggregate memory from multiple GPUs on the same machine.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights --num-gpus 2 使用CPU啟動的命令，不建議很吃CPU配置，并且很慢 This runs on the CPU only and does not require GPU. It requires around 60GB of CPU memory for Vicuna-13B and around 30GB of CPU memory for Vicuna-7B.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights --device cpu

3.3.2
webui啟動方式

python3 -m fastchat.serve.controllerpython3 -m fastchat.serve.model_worker --model-path /path/to/vicuna/weightspython3 -m fastchat.serve.test_message --model-name vicuna-13b

總結(jié)踩坑經(jīng)驗

例如：內(nèi)存一定要夠，要不然啟動不起來服務，顯存保底40G，才能穩(wěn)定的保證webui服務啟動起來，因為多輪對話以后顯存漲的很快

總結(jié)

以上是生活随笔為你收集整理的超过ChatGPT3达到ChatGPT4%90性能的小羊驼来了-Vicuna(校招社招必备，chatgpt风口来了赶紧学起来吧)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。