changes

bayarea-ai-server/docker-compose-llama-gemma12b.yml

@@ -1,6 +1,13 @@
 # llama.cpp + Gemma-4-12B (Vision) fuer die Buyer-Sheet-Extraktion.
-# Basiert auf dem bewaehrten Qwen-Run (gleiche ROCm-Flags), erweitert um
-# Vision (mmproj laedt -hf automatisch) und --reasoning off (sonst leeres content).
+# Laeuft ALLEIN auf der GPU (Qwen vorher stoppen: docker stop llamacpp-qwen36).
+#
+# Wichtige Stabilitaets-Parameter gegen das kumulative Verklemmen:
+#   --cache-ram 0        Prompt-Cache AUS. Die Vision-Requests teilen keinen
+#                        sinnvollen Prefix; der Cache brachte nur Thrashing
+#                        ("making room ... MiB") bis zum Slot-Deadlock.
+#                        Ohne Cache ist jeder Request wirklich unabhaengig.
+#   --ctx-size 8192      reicht fuer ein Sheet + JSON-Antwort; halber KV-Speicher.
+#   --no-context-shift   sauberes Abschneiden statt fragwuerdigem Shift.
 #
 # Start:  docker compose -f docker-compose-llama-gemma12b.yml up -d
 # Logs:   docker compose -f docker-compose-llama-gemma12b.yml logs -f
@@ -11,7 +18,6 @@ services:
     image: ghcr.io/ggml-org/llama.cpp:server-rocm
     container_name: llamacpp-gemma12b
     restart: unless-stopped
-    # init:true -> haengende Prozesse werden ordentlich eingesammelt (kein Zombie)
     init: true
     devices:
       - /dev/kfd:/dev/kfd
@@ -22,8 +28,6 @@ services:
       - seccomp=unconfined
     ipc: host
     ports:
-      # Achtung: Qwen laeuft schon auf 8080. Gemma bekommt 8000, damit beide
-      # parallel laufen koennen. Client entsprechend auf :8000 zeigen.
       - "8000:8080"
     volumes:
       - ~/.cache/llama.cpp:/root/.cache/llama.cpp
@@ -37,11 +41,14 @@ services:
       - -ngl
       - "99"
       - --ctx-size
-      - "16384"
+      - "8192"
       - --parallel
       - "1"
       - --jinja
       - --reasoning
       - "off"
+      - --cache-ram
+      - "0"
+      - --no-context-shift
       - --alias
-      - gemma-4-12b
+      - gemma-4-12b