LLM'leri İnce Ayarlama

Ne zaman ince ayar yapılır

İnce ayar yapın: (1) prompt mühendisliği <%85 doğrulukta platoya ulaşırsa, (2) tutarlı çıktı formatına ihtiyaç duyarsanız, (3) gecikme önemli ve kendi sunucunuzda barındırabilirseniz.

Veri seti hazırlığı

Talimat ayarlama formatında minimum 500 örnek. Türkçe için: %90+ Türkçe dil örnekleri sağlayın, alana özgü terminoloji ekleyin ve etiket dağılımını dengeleyin.

{"instruction": "Metni özetle:", "input": "...", "output": "..."}

Temel model seçin

Türkçe için: LoRA (rank=16) ile Llama-3.1-8B-Instruct veya Mistral-7B-v0.3. Her ikisi de güçlü Türkçe tokenizasyona sahip. Ön eğitimde <%5 Türkçe içeren modellerden kaçının.

Eğitim kurulumu

QLoRA (4-bit NF4 kuantizasyonu) için <24GB VRAM kullanın. 3 epoch eğitin, her 100 adımda değerlendirin. Cosine zamanlamayla öğrenme oranı 2e-4.

Değerlendirin ve birleştirin

Ayrılmış test seti üzerinde ince ayarlı ile temel modeli karşılaştırın. İyileşme >%5 ise LoRA adaptörlerini birleştirin ve kayıt defterine gönderin. Değilse, önce veri kalitesini gözden geçirin.