Son zamanlarda yapay zeka dünyasında büyük modellerin kapasitesi ve verimliliği üzerine ciddi tartışmalar yaşanıyor. Geleneksel yöntemler, bu devasa yapay zeka sistemlerinin çalıştığı donanımdan bağımsız olarak sürekli daha fazla güç ve enerji talep etmesine neden oluyor. Ancak ABD merkezli PrismML adlı girişim, 'büyüklük' yerine 'yoğunluk' kavramıyla oyunun kurallarını değiştirerek modelleri cep telefonları gibi mobil cihazlarda bile verimli bir şekilde çalıştırabilmenin yolunu buldu.
Bu teknolojik sıçrama, geleneksel yapay zeka geliştirme yaklaşımlarından ayrılıyor. Çoğu model optimizasyonu sadece belirli katmanların küçültülmesi (kuantizasyon) yoluyla yapılırken; PrismML'nin yöntemi çok daha radikal. Şirket, tüm yapay zeka modelini 1-bit veya üçlü ağırlık mimarisine dönüştürerek devasa veri akışını minimuma indiriyor. Bu sürece ek olarak özel çıkarım çekirdekleri geliştirilmesi, sıkıştırılmış verilerin doğrudan işlenmesini sağlıyor.
Mobil Yapay Zekanın Gücü: Bonsai Serisi Arıyor:
Bu teknikle ticari kullanıma hazır hale getirilen ilk model 1-bit mimarili Bonsai 8B oldu. PrismML'ye göre bu yeni yaklaşım, Llama 3 8B gibi rakiplerine kıyasla hem boyut hem hız hem de enerji verimliliği açısından çığ niteliğinde bir fark yaratıyor. Yaklaşık 1,15 gigabayta düşürülen model; M4 Pro işlemcili Mac cihazında saniyede 131 jeton (token), RTX 4090 ekran kartında ise saniyede 368 jeton hızına ulaşabiliyor.
Henüz yorum yapılmamış. İlk yorumu sen yap!
E-posta adresiniz yayımlanmayacaktır. Gerekli alanlar (*) ile işaretlenmiştir.
