# llama.cpp + Gemma-4-12B (Vision) fuer die Buyer-Sheet-Extraktion.
# Laeuft ALLEIN auf der GPU (Qwen vorher stoppen: docker stop llamacpp-qwen36).
#
# Wichtige Stabilitaets-Parameter gegen das kumulative Verklemmen:
#   --cache-ram 0        Prompt-Cache AUS. Die Vision-Requests teilen keinen
#                        sinnvollen Prefix; der Cache brachte nur Thrashing
#                        ("making room ... MiB") bis zum Slot-Deadlock.
#                        Ohne Cache ist jeder Request wirklich unabhaengig.
#   --ctx-size 8192      reicht fuer ein Sheet + JSON-Antwort; halber KV-Speicher.
#   --no-context-shift   sauberes Abschneiden statt fragwuerdigem Shift.
#
# Start:  docker compose -f docker-compose-llama-gemma12b.yml up -d
# Logs:   docker compose -f docker-compose-llama-gemma12b.yml logs -f
# Stop:   docker compose -f docker-compose-llama-gemma12b.yml down

services:
  llamacpp-gemma12b:
    image: ghcr.io/ggml-org/llama.cpp:server-rocm
    container_name: llamacpp-gemma12b
    restart: unless-stopped
    init: true
    devices:
      - /dev/kfd:/dev/kfd
      - /dev/dri:/dev/dri
    group_add:
      - video
    security_opt:
      - seccomp=unconfined
    ipc: host
    ports:
      - "8000:8080"
    volumes:
      - ~/.cache/llama.cpp:/root/.cache/llama.cpp
    command:
      - -hf
      - unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL
      - --host
      - 0.0.0.0
      - --port
      - "8080"
      - -ngl
      - "99"
      - --ctx-size
      - "8192"
      - --parallel
      - "1"
      - --jinja
      - --reasoning
      - "off"
      - --cache-ram
      - "0"
      - --no-context-shift
      - --alias
      - gemma-4-12b