Mobil
PrismML'den Çığır Açan Yapay Zeka Modeli: Bonsai 27B Şimdi iPhone’da
PrismML, iPhone ve Mac gibi mobil cihazlarda çalışabilecek yeni AI modeli Bonsai 27B'yi piyasaya sürdü.
Hexcore
3 dk
Veri Ağına Aktar
Yapılan duyurular ışığında, yapay zeka dünyasında heyecan yaratan teknoloji şirketi PrismML bugün yeni modellerini gün yüzüne çıkardı. Şirketin yönetiminden gelen bilgilere göre Apple'ın da bu teknolojiyi yakından incelediği iddia ediliyor. Ancak ana gündem, çığır açan ve iPhone ile Mac gibi cihazlarda çalışabilen Bonsai 27B modelinin piyasaya sürülmesi oldu.
Bu yeni modelle birlikte PrismML’den oldukça önemli bir çıkış geldi. Şirket yetkilileri, Bonsai 27B'nin sadece büyük sunucu sistemlerinde değil, aynı zamanda mobil cihazlarda bile verimli çalışabildiğini belirtiyor. Bu durum, yapay zeka modellerinin kullanım alanını daha geniş kılıyor ve günlük kullanıcılar için devrim niteliğinde bir potansiyel taşıyor.
Bonsai 27B modelinin teknik kapasitesi oldukça etkileyici. NVIDIA GeForce RTX 5090 gibi güçlü sistemlerde bile bu model, birinci bitten (1-bit) 163 token/saniye hızına ulaşabiliyor. Daha mobil odaklı bir karşılaştırma yaparak M5 Max işlemci üzerinde ise bir bit mimarisinde en fazla 87 token/saniye performansı sergiliyor. Bu rakamlar, özellikle büyük dil modellerinin daha hızlı ve enerji verimli çalışması gerektiği noktada dikkat çekiyor.
Mobil cihazlara uyum sağlamak sadece depolama alanı meselesi değildir. Bir akıllı telefonun uygulamaya sunduğu belleğin sınırlı olması ve bu bellek bütçesinin modelin işlem sırasında kullandığı dahili önbellekler (KV cache) ile aktive edilen değişkenlerle paylaşılan bir kaynak olması kısıtlayıcıdır. Normal şartlar altında 27 milyar parametreli büyük modeller, telefonların bu dar belleğini doldurmaktan uzaktır. Ancak Bonsai 27B modeli, yaklaşık dört gigabayta inmesiyle birinci bit çözünürlükte ilk kez cihazın sınırları içinde akma kabiliyetine sahip olmuştur.
PrismML’nin yeni duyurusunda özel olarak vurgulanan bir detay da bu modelin Apple donanımları üzerinde yerel çalışabilme yeteneğidir. Bonsai 27B, Mac ve iPad gibi Apple cihazları üzerinden MLX kütüphanesi aracılığıyla; NVIDIA GPU'lar ise CUDA yoluyla destekleniyor. Bu uyum, özel olarak geliştirilen düşük bit çekirdekleri sayesinde modelin hibrit dikkat mimarisi (hybrid-attention architecture) üzerinde verimli çalışmasını sağlıyor.
Model ağırlıkları Apache 2.0 Lisansı altında herkese açık durumda. Ayrıca, modeli denemek isteyen geliştiriciler için şirketin sınırl süreli ücretsiz bir API önizleme hizmeti de başlatılmış olması önemli adım olarak değerlendiriliyor.
Dahası, PrismML CEO'su Babak Hassibi, CNBC kanalına yaptığı açıklamada Apple’ın şirketin teknolojisini ve modellerini dikkatle incelediğini belirtti. Apple ile diğer büyük firmaların başlangıç aşamasındaki bu görüşmelerinde modelin hız, enerji verimliliği ve çeşitli cihazlar üzerindeki performansı değerlendirildiği ifade edildi. Hassibi, süreçlerin şu an için çok erken bir dönemde olduğunu ve somut sonuçların ne yönde olacağını henüz net olarak açıklayamadığını ancak ilerlemelerin pozitif seyrettiğini dile getirdi. Apple tarafından bu iddialara dair resmi bir yanıt verilmedi.
Yapısal olarak bakıldığında, PrismML’nin teknolojik yetkinliği ile Apple gibi devlerle kurduğu iletişim hem sektörel beklentileri yükselten doğal bir duyuru niteliği taşıyor. Şirket nezdinde bu haberler dikkat çekmeyi başardı; ancak yapay zeka uzmanlarının teknik iddiaları kendi altyapılarıyla değerlendirmeleri bekleniyor.
Amazon, Google Play destekli ve Alexa+ entegre üç yeni Alexa Tablet modelini tanıttı.
Henüz yorum yapılmamış. İlk yorumu sen yap!
E-posta adresiniz yayımlanmayacaktır. Gerekli alanlar (*) ile işaretlenmiştir.
