實現了使用docker運行的ollama作為VSC或者其他IDE的編程助手,實現本地化的AI推理

環境

debian12

docker

ollama

環境配置

ollama

參考 ollama在docker中使用 可以實現在docker中使用ollama

• 支持GPU,但是需要配置Nvidia container toolkit

使用指令啟動服務

docker run --rm -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

如果出現端口被占用的情況,就更換一個端口

當ollama在docker中啟動的時候,啟動指令就是ollama serve

我的11434端口處于占用,所以,使用了11432端口

測試ollama是否啟用

使用docker ps指令檢查容器的狀態

在瀏覽器中打開對于的IP+port可以檢查ollama serve是否啟動,處于可以被外部訪問的狀態.

模型

參考 本地化部署codegeex4

模型下載

參考 ollama的codegeex4下載

ollama pull codegeex4

測試模型

終端訪問

使用docker exec -it ollama /bin/bash進入容器內部

在終端中運行模型測試效果

ollama run codegeex4

效果如下

API調用

參考 API官方文檔

curl http://localhost:11434/api/chat -d '{

  "model": "codegeex4",

  "messages": [

    {

      "role": "user",

      "content": "寫一段JS代碼,輸出hello world!"

    }

  ]

}'

效果如圖

VSC設置

參考github的配置方式

我設置地址為http://192.168.1.106:11432/v1/chat/completions, 模型名字為codegeex4

之后會顯示已連接代表成功

測試效果

成功可以補全代碼了

• 對性能要求不高, 感覺很適合本地化部署和使用

總結

以上是生活随笔為你收集整理的docker部署codegeex4实现本地IDE编程助手的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。