Türkçe yorumlarda model karşılaştırması: API ve yerel model
Türkçe ikili duygu analizinde barındırılan bir API'yi (Jev), hazır yerel bir modeli (Laya) ve aynı modelin tam ince ayarlı sürümünü (Laya-FT) aynı sabit girdilerle karşılaştırdık: 15.000 test yorumu, 40.000 eğitim yorumu.
İş sorusu
Dar tanımlı bir sınıflandırma görevinde göreve özel eğitim, yerelde çalışan bir modeli ne kadar iyileştirir ve bu iyileşme eğitildiği koleksiyonun dışında da sürer mi?
Yöntem
Üç sistem, önceden sabitlenmiş tek bir protokolde aynı Türkçe soruyu ve aynı sabit girdileri aldı. Yerel model 40.000 yorumla tam ince ayardan geçti; kontrol noktası ayrı 5.000 yorumluk geliştirme kümesinde, önceden belirlenen kuralla seçildi. Test etiketleri yalnızca puanlamada kullanıldı. Makro-F1 kaynak etiketlere göre hesaplandı; %95 güven aralıkları 2.000 tabakalı bootstrap tekrarından elde edildi.
Ana bulgular
- İnce ayar, yerel modelin makro-F1 skorunu ana testte (10.000 yorum) %77,74'ten %93,26'ya çıkardı; 15,52 puanlık artış.
- Ayrı tutulan koleksiyonda (5.000 yorum) kazanç daha küçük kaldı; %76,29'dan %83,72'ye, 7,43 puan.
- Jev iki bölümde de daha yüksek skor aldı (%93,59 ve %88,86). Ana testteki 0,32 puanlık fark kesin bir üstünlük kanıtı değil; ayrı koleksiyondaki fark 5,14 puan.
- Toplam skor tek başına yeterli değil. Ayrı koleksiyonda olumsuz yorumları yakalama oranı ince ayardan sonra %92,60'tan %75,36'ya düştü.
- Üç sistem de 15.000 tahminin tamamını teknik hata ya da eksik yanıt olmadan üretti. Jev API kullanımının hesaplanan maliyeti yaklaşık 0,28 ABD dolarıydı.
Sınırlılıklar
- Kaynak etiketler (yıldız puanları) bağımsız insan doğrulamasından geçmedi; yıldız puanı metindeki duyguyla çelişebilir.
- Tek eğitim tohumu, iki koleksiyon ve tek bir ikili soru incelendi; ana testteki küçük fark için eşleştirilmiş anlamlılık testi yapılmadı.
- İkinci koleksiyonun ana koleksiyondan farklı bir kaynaktan geldiği doğrulanmadı; ön eğitim sırasında veri sızıntısı dışlanamaz.
- Gecikme değerleri yalnızca bu çalıştırmalara aittir; kontrollü bir hız karşılaştırması değildir.
- Çalışma hakem değerlendirmesinden geçmedi; bir projenin üretim performansını doğrulamaz.
Sonuçlar
Kaynak etiketlere göre makro-F1 (yüzde; yüksek değer daha iyi).
| Model | Ana test (10.000) | Ayrı koleksiyon (5.000) |
|---|---|---|
| Jev API | 93,59 | 88,86 |
| Laya (hazır) | 77,74 | 76,29 |
| Laya-FT (tam ince ayar) | 93,26 | 83,72 |
Ayrıntılı sınıflandırma sonuçları; P ve R olumsuz sınıfın kesinliği ve duyarlılığıdır.
| Model | Test | Doğruluk | Makro-F1 | %95 güven aralığı | P olumsuz | R olumsuz |
|---|---|---|---|---|---|---|
| Jev | Ana | 93,59 | 93,59 | 93,06–94,07 | 95,70 | 91,28 |
| Laya | Ana | 78,41 | 77,74 | 76,96–78,54 | 71,10 | 95,72 |
| Laya-FT | Ana | 93,27 | 93,26 | 92,78–93,75 | 96,02 | 90,28 |
| Jev | Ayrı | 88,90 | 88,86 | 88,00–89,67 | 93,83 | 83,28 |
| Laya | Ayrı | 76,88 | 76,29 | 75,11–77,44 | 70,45 | 92,60 |
| Laya-FT | Ayrı | 83,84 | 83,72 | 82,74–84,77 | 90,75 | 75,36 |
Aralıklar test örneklemindeki belirsizliği gösterir; eğitim tohumundan kaynaklanan değişkenliği değil.
İnce ayar hata dengesini değiştirdi
Ayrı koleksiyonda Laya-FT olumsuz tahminlerinde çok daha isabetli oldu (kesinlik %70,45 → %90,75), ama olumsuz yorumların daha azını yakaladı (duyarlılık %92,60 → %75,36). Yani daha yüksek toplam skor, daha az kaçırılan olumsuz yorum anlamına gelmiyor. Olumsuz geri bildirimi kaçırmanın pahalı olduğu bir kullanımda, model seçimi yalnızca makro-F1'e bakılarak yapılmamalı.
Veri ve bölümler
Ana koleksiyon, yıldız puanlı e-ticaret yorumlarından oluşan MüşteriYorumları veri setidir: 1–2 yıldız olumsuz, 4–5 yıldız olumlu sayıldı, 3 yıldız dışarıda bırakıldı. İkinci test koleksiyonu Turkish Product Reviews'dur ve eğitim, geliştirme ve seçim adımlarının hiçbirinde kullanılmadı. Temizlikte boş ve bozuk kayıtlar, birebir tekrarlar, çelişkili etiketler ve koleksiyonlar arası ortak gruplar çıkarıldı; yakın tekrarlar MinHash/LSH ile arandı. E-posta adresleri, telefon numaraları ve web adresleri maskelendi.
| Bölüm | Koleksiyon | Olumsuz | Olumlu | Toplam |
|---|---|---|---|---|
| Eğitim | Ana | 14.253 | 25.747 | 40.000 |
| Geliştirme | Ana | 2.500 | 2.500 | 5.000 |
| Kalibrasyon (kullanılmadı) | Ana | 2.500 | 2.500 | 5.000 |
| Ana test | Ana | 5.000 | 5.000 | 10.000 |
| Ayrı koleksiyon testi | İkinci | 2.500 | 2.500 | 5.000 |
Sınıf dağılımı yalnızca eğitim kümesinde dengesizdir; yapay örnek üretilmedi, sınıf ağırlıklandırması yapılmadı.
Eğitim ve ölçüm
Laya-FT, Laya Multilingual modelinin tüm parametreleri (yaklaşık 322 milyon) eğitilerek tek bir NVIDIA A100 GPU'da hazırlandı. Dört epok (eğitim turu) sonunda geliştirme kümesinde en iyi makro-F1 veren kontrol noktası (%93,66) seçildi. Test sonuçları hiçbir seçimde kullanılmadı.
Yerel modeller aynı Apple M1 Pro dizüstü bilgisayarda çalıştırıldı. Tek yorumluk ortanca gecikme yerel modellerde yaklaşık 50–56 ms, Jev API'de ağ yüküyle birlikte yaklaşık 290–755 ms oldu. Koşullar farklı olduğundan bu değerler hız üstünlüğü olarak okunmamalıdır.
Sonuç
Sabit 15.000 yorumluk protokolde tam ince ayar, yerel modeli ana koleksiyonda API'ye çok yaklaştırdı ve ayrı koleksiyondaki skorunu da yükseltti; Jev iki bölümde de daha yüksek gözlenen skoru korudu. Savunulabilir sonuç, göreve özel belirgin bir iyileşmedir; bu iyileşme farklı bir koleksiyonda daha sınırlı kalır. Genel bir eşdeğerlik ya da kontrollü bir hız üstünlüğü değildir.
Sonraki adımlar: ek karşılaştırma modelleri, tekrarlı eğitim tohumları ve körleştirilmiş, insan etiketli bir alt küme.
Kaynaklar ve yeniden üretilebilirlik
- Jev 1.13.0 — TypeSafe AI model belgeleri
- Laya Multilingual — Convai Innovations model kartı
- MüşteriYorumları — Turkish NLP Suite (CC-BY-SA-4.0)
- Turkish Product Reviews — F. Barmanbay
- Laya kaynak kodu ve ince ayar uygulaması, sürüm 0.3.20
Ham yorum metni ya da model ağırlıkları paylaşılmadı. Bölümler, kaynak sürümleri, model özetleri ve örnek düzeyindeki tahminler yerel çalışma arşivinde saklanıyor. Uygulama, analiz ve metin hazırlığında yapay zekâ desteği kullanıldı; üretilen etiketler doğru cevap olarak kullanılmadı. Tam teknik not PDF olarak indirilebilir (İngilizce).