docker

bayarea-ai-server/docker-compose.yml

@@ -0,0 +1,38 @@
+services:
+  vllm-rocm:
+    image: vllm/vllm-openai-rocm:latest
+    container_name: vllm-rocm
+    restart: unless-stopped
+    # init:true gibt dem Container ein Init-System, das haengende Kindprozesse
+    # ordentlich einsammelt -> kein unkillbarer Zombie mehr beim naechsten Freeze,
+    # der Container bleibt per 'docker stop' beendbar.
+    init: true
+    environment:
+      - ROCM_VIS_DEVICES=0
+      # Falls vLLM ueber die Architektur meckert, einkommentieren:
+      # - HSA_OVERRIDE_GFX_VERSION=11.0.0
+    devices:
+      - /dev/kfd:/dev/kfd
+      - /dev/dri:/dev/dri
+    volumes:
+      - ~/.cache/huggingface:/root/.cache/huggingface
+    ports:
+      - "8000:8000"
+    ipc: host
+    # --- Stabilitaets-Parameter gegen den Gemma-4-Prefill-Deadlock (vLLM #39914) ---
+    command:
+      - --model
+      - google/gemma-4-12b-it
+      - --kv-cache-dtype
+      - fp8
+      - --max-model-len
+      - "16384"
+      - --gpu-memory-utilization
+      - "0.90"
+      - --limit-mm-per-prompt
+      - '{"image": 2, "audio": 0}'
+      - --max-num-seqs
+      - "4"
+      - --max-num-batched-tokens
+      - "2048"
+      - --enable-chunked-prefill