芜湖尾敢投资有限公司

Ollama本地部署llama3結合open-webui使用AI大模型——墨澀網(wǎng)

2024-5-4

Llama?3是由Meta(Facebook) AI發(fā)布的一個開源語言模型系列，包括一個8B（十進制的80億）模型和一個70B（十進制的700億）模型。Llama 3支持多種商業(yè)和研究用途，并在多個行業(yè)標準測試中展示了其卓越的性能。

Llama 3采用了優(yōu)化的自回歸Transformer架構，這種架構專為處理復雜的文本生成任務設計，能夠有效提升生成文本的連貫性和相關性。模型結合了監(jiān)督式微調（SFT）和帶人類反饋的強化學習（RLHF），這種混合方法不僅增強了模型的幫助性，也提高了安全性，使得模型在實際應用中更加可靠和符合用戶預期。

一、安裝ollama

ollama官網(wǎng)：https://ollama.com/

根據(jù)自己的系統(tǒng)類型下載Ollama
下載地址：https://ollama.com/download

下載以后直接雙擊運行安裝即可，安裝過程全部默認。

二、通過ollama下載AI模型

打開ollama的模型的網(wǎng)頁：https://ollama.com/library

找到llama3，雙擊進入，復制安裝命令（如果需要其他ai模型同理操作）

ollama run llama3

按下“win”+“R”，輸入“cmd”回車，右鍵粘貼剛才的命令，再次回車開始下載安裝llama3。

其他ollama常用的命令有

  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

 

看到下面的提示就說明安裝完成了，之后直接輸入你需要的問題就可以開始對話了。

之后再次需要對話的時候再CMD命令行中輸入ollama run llama3，就可以開啟對話了。

這樣在CMD命令行中使用ollama模型非常不方便，我需要安裝結合open-webui或lobe-chat等開源免費的WEB界面使用。

三、open-webui下載安裝使用

1.啟動微軟Hyper-V，打開“控制面板->程序->啟用或關閉Windows功能”

  • 勾選Hyper-V選項

  • 重啟電腦后安裝成功

2.安裝docker環(huán)境。

docker官網(wǎng)：https://docker.com/

下載docker desktop
下載地址：https://docs.docker.com/desktop/install/windows-install/

下載以后，直接雙擊運行exe文件，注意去掉“Use WSL2 instead of Hyper-V（recommended）”的勾選，否則會帶來很多問題（踩坑的經驗）。

等待安裝

安裝完成，點擊“Close and?restart”重啟計算機。

系統(tǒng)重啟后。雙擊運行桌面的“Docker Desktop”圖標，彈窗點擊“Accept”。

點擊：“Continue without signing?in”，不登錄進入。

點擊：“Skip?survey”

進入到了Docker Desktop界面。

切換國內源（設置⚙—Docker Engine），粘貼下面的內容，點擊“Apply&restart”保存并重啟Docker

{
  "registry-mirrors": [
    "https://82m9ar63.mirror.aliyuncs.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ],
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  }
}

 

3.Docker安裝open-webui服務。

按下“win”+“R”，輸入“cmd”回車，右鍵粘貼下面的命令，回車。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

這個安裝過程根據(jù)你的網(wǎng)絡環(huán)境情況，時間可能會比較長，請耐心等待，直到出現(xiàn)下面的界面。

再次打開Docker Desktop界面，就可以看到已經在運行的open-webui服務。

點擊“port(s)下面的端口號就可以大打開“open-webui服務”的網(wǎng)頁了。

點擊“Sign up”，打開注冊頁面，輸入注冊信息，點擊“Create Account”，注冊第一個注冊的就是管理員。

注冊后完成，點擊右上角的設置⚙——Geeral——Language，選擇chinese即可切換中文。

之后可以看到直接可以選擇之前部署好的llama3:8b模型，開始使用吧。

THE END