Create Dockerfile

Dockerfile

@@ -0,0 +1,29 @@
+# NVIDIA'nın CUDA ve Python'ı içeren resmi temel imajını kullanıyoruz.
+# Bu, llama-cpp'nin ihtiyacı olan tüm GPU kütüphanelerinin kurulu gelmesini sağlar.
+FROM nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04
+
+# Python'ı kurun
+ENV DEBIAN_FRONTEND=noninteractive
+RUN apt-get update && apt-get install -y python3 python3-pip git build-essential cmake wget && rm -rf /var/lib/apt/lists/*
+
+# Python 3.10 için pip'i python3'e linkle
+RUN update-alternatives --install /usr/bin/python python /usr/bin/python3 1
+RUN update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1
+
+# Kullanıcıyı ayarlayın (HF standardı)
+RUN useradd -m -u 1000 user
+USER user
+WORKDIR /home/user/app
+
+# requirements.txt dosyasını kopyalayın ve kütüphaneleri yükleyin.
+# CMAKE_ARGS ile CUBLAS desteğini zorluyoruz.
+COPY requirements.txt .
+ENV CMAKE_ARGS="-DLLAMA_CUBLAS=on"
+ENV FORCE_CMAKE=1
+RUN pip install --no-cache-dir -r requirements.txt
+
+# app.py dosyasını kopyalayın
+COPY app.py .
+
+# Uygulamayı çalıştırın
+CMD ["python", "app.py"]