# llama-server für Qwen3.6 Vision — NVIDIA RTX PRO 6000 Blackwell (sm_120)
#
# WICHTIG:
# - Muss aus aktuellem Source gebaut werden: Qwen3.6 nutzt ein neues
#   Rope-Encoding (rope.dimension_sections 3 statt 4), alte Images/Builds
#   brechen mit "wrong array length".
# - Blackwell braucht CUDA >= 12.8. KEIN CUDA 13.2 verwenden — erzeugt
#   mit Qwen3.6 Gibberish (bekannter NVIDIA-Bug).

FROM nvidia/cuda:12.8.1-devel-ubuntu24.04 AS build

RUN apt-get update && apt-get install -y --no-install-recommends \
      git cmake build-essential libcurl4-openssl-dev ca-certificates \
    && rm -rf /var/lib/apt/lists/*

RUN git clone --depth 1 https://github.com/ggml-org/llama.cpp /src

# 120 = Blackwell (RTX PRO 6000). Für andere Karten anpassen.
RUN cmake /src -B /build \
      -DGGML_CUDA=ON \
      -DCMAKE_CUDA_ARCHITECTURES=120 \
      -DBUILD_SHARED_LIBS=OFF \
      -DLLAMA_CURL=ON \
    && cmake --build /build --config Release -j --target llama-server

FROM nvidia/cuda:12.8.1-runtime-ubuntu24.04

RUN apt-get update && apt-get install -y --no-install-recommends \
      libcurl4 libgomp1 curl ca-certificates \
    && rm -rf /var/lib/apt/lists/*

COPY --from=build /build/bin/llama-server /usr/local/bin/llama-server

EXPOSE 8000
ENTRYPOINT ["llama-server"]