# llama.cpp + Gemma-4-12B (Vision) auf CUDA (AWS G7e / RTX PRO 6000).
#
# Bewusst SCHLANK gehalten: keine ROCm/Vulkan-Workarounds. Wir testen, ob
# CUDA die Instabilitaeten von vornherein vermeidet. Nur die inhaltlich noetigen
# Flags (--reasoning off gegen leeres content) bleiben.
#
# Voraussetzung: DLAMI mit NVIDIA Container Toolkit (docker --gpus all funktioniert).
#
# Start:  docker compose -f docker-compose-cuda.yml up -d
# Logs:   docker compose -f docker-compose-cuda.yml logs -f

services:
  llamacpp-gemma12b:
    image: ghcr.io/ggml-org/llama.cpp:server-cuda
    container_name: llamacpp-gemma12b
    restart: unless-stopped
    init: true
    # GPU-Zugriff ueber das NVIDIA Container Toolkit
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    ports:
      - "8000:8080"
    volumes:
      - ~/.cache/llama.cpp:/root/.cache/llama.cpp
    command:
      - -hf
      - unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL
      - --host
      - 0.0.0.0
      - --port
      - "8080"
      - -ngl
      - "99"
      - --ctx-size
      - "16384"
      - --parallel
      - "1"
      - --jinja
      - --reasoning
      - "off"
      - --alias
      - gemma-4-12b