sahinhukuk-bot / setup.sh
sahinomercan's picture
Create setup.sh
49793f3 verified
raw
history blame contribute delete
735 Bytes
#!/bin/bash
echo "ONNX Hızlandırması Başlatılıyor..."
# 1. T5 modelini ONNX formatına dönüştür (Çoklu model dönüşümü tek bir komutla)
# Bu komut, PyTorch modelini indirir ve yerel olarak ONNX modeline dönüştürüp kaydeder.
python3 -c "
from optimum.exporters.onnx import main_export
main_export(
model_name_or_path='google/flan-t5-small',
output='onnx_models/flan-t5',
task='text2text-generation',
do_validation=False
)
"
# 2. Sentences-Transformer'ı ONNX formatına dönüştürme (Daha karmaşık olduğundan şimdilik PyTorch'ta tutuyoruz)
# (Bu model çok hızlı olduğu için PyTorch'ta kalması performans kaybı yaratmaz.)
echo "ONNX Dönüşümü Tamamlandı. Uygulama başlayabilir."