47 lines
1.2 KiB
YAML
47 lines
1.2 KiB
YAML
# llama.cpp + Gemma-4-12B (Vision) auf CUDA (AWS G7e / RTX PRO 6000).
|
|
#
|
|
# Bewusst SCHLANK gehalten: keine ROCm/Vulkan-Workarounds. Wir testen, ob
|
|
# CUDA die Instabilitaeten von vornherein vermeidet. Nur die inhaltlich noetigen
|
|
# Flags (--reasoning off gegen leeres content) bleiben.
|
|
#
|
|
# Voraussetzung: DLAMI mit NVIDIA Container Toolkit (docker --gpus all funktioniert).
|
|
#
|
|
# Start: docker compose -f docker-compose-cuda.yml up -d
|
|
# Logs: docker compose -f docker-compose-cuda.yml logs -f
|
|
|
|
services:
|
|
llamacpp-gemma12b:
|
|
image: ghcr.io/ggml-org/llama.cpp:server-cuda
|
|
container_name: llamacpp-gemma12b
|
|
restart: unless-stopped
|
|
init: true
|
|
# GPU-Zugriff ueber das NVIDIA Container Toolkit
|
|
deploy:
|
|
resources:
|
|
reservations:
|
|
devices:
|
|
- driver: nvidia
|
|
count: 1
|
|
capabilities: [gpu]
|
|
ports:
|
|
- "8000:8080"
|
|
volumes:
|
|
- ~/.cache/llama.cpp:/root/.cache/llama.cpp
|
|
command:
|
|
- -hf
|
|
- unsloth/gemma-4-12b-it-GGUF:UD-Q4_K_XL
|
|
- --host
|
|
- 0.0.0.0
|
|
- --port
|
|
- "8080"
|
|
- -ngl
|
|
- "99"
|
|
- --ctx-size
|
|
- "16384"
|
|
- --parallel
|
|
- "1"
|
|
- --jinja
|
|
- --reasoning
|
|
- "off"
|
|
- --alias
|
|
- gemma-4-12b |