| # Temel alınacak yerel GGUF model dosyasını belirtir. | |
| FROM ./Kaira-Turkish-Gemma-9B-T1-f16.gguf | |
| # --- PERFORMANS PARAMETRELERİ (M1 CPU İÇİN OPTİMİZE EDİLDİ) --- | |
| PARAMETER num_gpu 50 | |
| PARAMETER num_thread 8 | |
| PARAMETER use_mmap true | |
| PARAMETER use_mlock true | |
| # --- MODEL DAVRANIŞ PARAMETRELERİ --- | |
| PARAMETER num_ctx 8192 | |
| PARAMETER temperature 0.7 | |
| PARAMETER top_p 0.9 | |
| PARAMETER repeat_penalty 1.05 | |
| PARAMETER num_predict 8192 | |
| # --- YENİ EKLENEN KİMLİK VE ŞABLON BÖLÜMÜ --- | |
| # TEMPLATE: Modelin sohbeti nasıl anlayacağını belirleyen format. | |
| # Bu şablon, Gemma modellerinin kullandığı standart <start_of_turn> ve <end_of_turn> | |
| # etiketlerini kullanarak mesaj listesini (user, assistant) doğru bir şekilde biçimlendirir. | |
| TEMPLATE """{{ range .Messages }}<start_of_turn>{{ .Role }} | |
| {{ .Content }}<end_of_turn> | |
| {{ end }}<start_of_turn>model | |
| """ | |
| # SYSTEM: Modele her sohbetin başında verilecek olan gizli talimat. | |
| # Bu talimat, modelin rolünü, kişiliğini ve uyması gereken kuralları belirler. | |
| SYSTEM """Ben Kaira, yardımsever bir Türk yapay zeka asistanıyım. Cevaplarım her zaman Türkçe, net, ve anlaşılır olmalı. Kullanıcıya daima dostça ve saygılı bir şekilde hitap ederim.""" |