File size: 1,039 Bytes
50824cf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
# NVIDIA'nın CUDA ve Python'ı içeren resmi temel imajını kullanıyoruz.
# Bu, llama-cpp'nin ihtiyacı olan tüm GPU kütüphanelerinin kurulu gelmesini sağlar.
FROM nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04
# Python'ı kurun
ENV DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install -y python3 python3-pip git build-essential cmake wget && rm -rf /var/lib/apt/lists/*
# Python 3.10 için pip'i python3'e linkle
RUN update-alternatives --install /usr/bin/python python /usr/bin/python3 1
RUN update-alternatives --install /usr/bin/pip pip /usr/bin/pip3 1
# Kullanıcıyı ayarlayın (HF standardı)
RUN useradd -m -u 1000 user
USER user
WORKDIR /home/user/app
# requirements.txt dosyasını kopyalayın ve kütüphaneleri yükleyin.
# CMAKE_ARGS ile CUBLAS desteğini zorluyoruz.
COPY requirements.txt .
ENV CMAKE_ARGS="-DLLAMA_CUBLAS=on"
ENV FORCE_CMAKE=1
RUN pip install --no-cache-dir -r requirements.txt
# app.py dosyasını kopyalayın
COPY app.py .
# Uygulamayı çalıştırın
CMD ["python", "app.py"] |