Aya Expanse (Türkçe destekli yerel LLM)

[GERGE]

Sonunda eğitimi dahil Türkçe destekleyen ve tüketici GPU'larında çalıştırılabilen bir model çıktı.

https://cohere.com/blog/aya-expanse-connecting-our-world

Deniyorum şu anda, IQ4_XS indirdim, ve güzelce çalışıyor. Türkçesi iyi. 32b ve 8b versiyonları var. Hugging Face'den indirebilirsiniz.

Bir bakın derim.

İndirmeden denemek istiyorsanız burası var: https://huggingface.co/spaces/CohereForAI/aya_expanse

Context 8k sadece, bu yanı biraz kötü. Ama local çeviri için ideal yine de.

[Somon2]

Hemen indiriyorum çok heyecanlıyım açıkcası; en son llama 8gb modelini Türkçe eğitmek için 200k tl kadar para harcadım ama günün sonunda tarzancayı zor konuşan bir llm elimde kalmıştı çok üzülmüştüm.

O dönem hesapladığımda chatgpt gibi native türkçe konuşabilen bir llm için 15m euro gibi bir para harcamam gerektiğini hesaplamıştım. ( eğitimleri huggingface gpularında yapıyorum ) belki evde sistem kursam bu 7-8m euroy'ya inebilirdi.

Ben de şimdi indiriyorum lan hayvangibi heyecanlandım inşallah fake hype değildir.

[Somon2]

https://huggingface.co/bartowski/aya-expanse-32b-GGUF/blob/main/aya-expanse-32b-Q6_K.gguf

bunu deniyorum high recommend diyor hadi bismillah 30dksı kaldı

[Somon2]

32b olanı kişisel bilgisayarım çalıştıramadı hemen 8b modelin döndüm leziz olmuş. Sanırım openai embed üzerinden rag sistemini bunun üzerinden kuracağım. Embed openai üzerinde hem ucuz hem de en iyisi bir sürü embedmodel denedim ama fiyat/performans olarak bedava kalıyor o yüzden embed openai'dan devam ama rag işlemi için expanse gerçekten iş görebilir durumda görünüyor.

 

Daha detaylı testlerini yapmadım ama 8b bile çok iyi 32b'yi hayal edemedim bence bu olmuş gibi görünüyor.

[GERGE]

VRAM ne kadar? Ben 8-bit'de 24k context ile 32b modeli dediğim gibi IQ4_XS çalıştırıyorum. Q4_K_L de kendi native 8k context ile çalışıyor. 3090ti var.