gfdfg

bayarea-ai-server/Dockerfile.cuda

@@ -0,0 +1,35 @@
+# llama-server für Qwen3.6 Vision — NVIDIA RTX PRO 6000 Blackwell (sm_120)
+#
+# WICHTIG:
+# - Muss aus aktuellem Source gebaut werden: Qwen3.6 nutzt ein neues
+#   Rope-Encoding (rope.dimension_sections 3 statt 4), alte Images/Builds
+#   brechen mit "wrong array length".
+# - Blackwell braucht CUDA >= 12.8. KEIN CUDA 13.2 verwenden — erzeugt
+#   mit Qwen3.6 Gibberish (bekannter NVIDIA-Bug).
+
+FROM nvidia/cuda:12.8.1-devel-ubuntu24.04 AS build
+
+RUN apt-get update && apt-get install -y --no-install-recommends \
+      git cmake build-essential libcurl4-openssl-dev \
+    && rm -rf /var/lib/apt/lists/*
+
+RUN git clone --depth 1 https://github.com/ggml-org/llama.cpp /src
+
+# 120 = Blackwell (RTX PRO 6000). Für andere Karten anpassen.
+RUN cmake /src -B /build \
+      -DGGML_CUDA=ON \
+      -DCMAKE_CUDA_ARCHITECTURES=120 \
+      -DBUILD_SHARED_LIBS=OFF \
+      -DLLAMA_CURL=ON \
+    && cmake --build /build --config Release -j --target llama-server
+
+FROM nvidia/cuda:12.8.1-runtime-ubuntu24.04
+
+RUN apt-get update && apt-get install -y --no-install-recommends \
+      libcurl4 libgomp1 curl \
+    && rm -rf /var/lib/apt/lists/*
+
+COPY --from=build /build/bin/llama-server /usr/local/bin/llama-server
+
+EXPOSE 8000
+ENTRYPOINT ["llama-server"]