File size: 735 Bytes
49793f3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#!/bin/bash

echo "ONNX Hızlandırması Başlatılıyor..."

# 1. T5 modelini ONNX formatına dönüştür (Çoklu model dönüşümü tek bir komutla)
# Bu komut, PyTorch modelini indirir ve yerel olarak ONNX modeline dönüştürüp kaydeder.
python3 -c "
from optimum.exporters.onnx import main_export
main_export(
    model_name_or_path='google/flan-t5-small',
    output='onnx_models/flan-t5',
    task='text2text-generation',
    do_validation=False
)
"

# 2. Sentences-Transformer'ı ONNX formatına dönüştürme (Daha karmaşık olduğundan şimdilik PyTorch'ta tutuyoruz)
# (Bu model çok hızlı olduğu için PyTorch'ta kalması performans kaybı yaratmaz.)

echo "ONNX Dönüşümü Tamamlandı. Uygulama başlayabilir."