Local LLM

Ollama Docker 的概述

Ollama Docker 是一個專為企業設計的本地部署解決方案，利用 Docker 容器技術來實現 Ollama 的高效運行。通過 Docker，Ollama 可以在不同的環境中快速部署，確保應用的一致性和可移植性。這使得企業能夠在自己的基礎設施上運行 Ollama，保證數據的安全和私密性，同時享受先進的 AI 和 ML 技術帶來的好處。

Ollama Docker 的部署要求

部署 Ollama Docker 需要一些基本的硬件和軟件要求。首先，需要確保系統已安裝 Docker 引擎。建議的硬件配置包括至少 8 GB 的 RAM 和多核處理器，以保證容器內的 AI 模型能夠高效運行。此外，還需要穩定的網絡連接以便下載必要的 Docker 映像文件和依賴包。對於操作系統，Ollama Docker 支持主流的 Linux 發行版，例如 Ubuntu、CentOS 和 Debian。

Ollama Docker 的部署步驟

安裝 Docker：如果尚未安裝 Docker，可以通過官方文檔進行安裝。獲取 Ollama Docker 映像：使用 Docker Hub 或私有 Docker 映像庫來拉取 Ollama 的映像。例如：docker pull ollama/ollama:latest。配置環境變量：根據需要設置環境變量，這些變量可能包括數據庫連接、API 密鑰等。運行容器：使用 Docker 命令運行 Ollama 容器，例如：docker run -d -p 8080:80 –name ollama-container ollama/ollama。驗證部署：確保容器運行正常，可以通過訪問指定的端口來驗證 Ollama 的服務是否已啟動。

Ollama Docker 的管理和維護

為了保持 Ollama Docker 的高效運行，定期的管理和維護是必不可少的。這包括監控容器的資源使用情況，更新 Docker 映像以獲取最新的功能和修復，以及備份和恢復數據。利用 Docker 的內置工具，可以方便地管理多個容器的生命周期，例如使用 docker ps 查看運行中的容器，使用 docker stop 和 docker start 來控制容器的運行。此外，還可以結合 Docker Compose 來管理多容器應用，使得 Ollama 的部署更加靈活和高效。

docker 部屬

cloudflare tunnel 穿透內網直接訪問伺服器，open-webui 透過網頁直接使用，ollama運行llm

docker-compose.yml

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49


services:
cloudflare:
    image: cloudflare/cloudflared
    container_name: cloudflared_tunnel_container
    command: tunnel --no-autoupdate run --token 'cloudflare token'
    restart: unless-stopped
    networks:
    - ollama-docker
ollama:
    image: ollama/ollama:latest
    ports:
    - 11434:11434
    volumes:
    - .:/code
    - ./ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    restart: always
    networks:
    - ollama-docker

open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    volumes:
    - ./open-webui:/app/backend/data
    depends_on:
    - ollama
    ports:
    - 8080:8080
    environment:
    - '/ollama/api=http://ollama:11434/api'
    extra_hosts:
    - host.docker.internal:host-gateway
    restart: unless-stopped
    networks:
    - ollama-docker
chromadb:
    image: chromadb/chroma
    ports:
    - "8000:8000"
    restart: always
    volumes:
    - chromadb_volume:/chroma/chroma

networks:
ollama-docker:
    external: false