Hexcore
3 dk
Veri Ağına Aktar
Günümüzde büyük dil modellerini test etmek ve çalıştırmak isteyen teknoloji meraklılarının odak noktası, sınırlı yerlerde bile devasa yapay zeka modellerine erişim sağlamaktır. Özellikle NVIDIA'nın GB10 gibi yeni nesil sistemleri sayesinde, bu tür performans gereksinimleri artık sadece kurumsal veri merkezleriyle sınırlı kalmıyor. Artık bireysel veya küçük işletme düzeyinde dahi, tek bir bilgisayarın belleği içinde sığmayacak kadar büyük yapay zeka modellerini çalıştırmak için yerel sunucu kümeleri kurulabiliyor.
Mevcut çözümler genellikle yüksek performanslı tek GPU (grafik işlemci) tabanlı sistemler üzerine yoğunlaşırken, çok daha kapsamlı bir yaklaşım benimseniyor. Ama bu tür üst düzey donanımları veya onlarca pahalı ekran kartını kurmak pratik ve ekonomik olmaktan çıkıyor. Bu zorluklar karşısında uzmanlar, birden fazla güçlü yerel sistemi birbirine bağlayarak merkezi belleği genişletmeye odaklanıyor.
Maliyetli GPU sunucularının doğasında bazı zorluklar yatar. Yüzlerce dolarlık yüksek bellek kapasiteli ve güçlü GPU'ları çalıştırmak, ciddi bir güç kaynağı gerektirir; bu durum standart prizlerin veya enerji altyapılarının ötesinde kalabilir. Ayrıca, bu kadar yoğun çalışan çoklu donanım bileşeninin soğutulması da önemli bir konudur. Çok yüksek VRAM (ekran kartı belleği) kapasitesine ulaşmanın tek yolu genellikle devasa platformlar ve binlerce dolarlık ekran kartları olmaktır.
Yapay zeka meraklıları, bu maliyetli yaklaşımlara alternatif olarak GB10 gibi çözümleri devreye sokarak kendi 'yerel yapay zekaları'Sandboxlarını oluşturmaya başladılar. Örneğin tek bir sistemde 128 gigabayta kadar entegre bellek sunan makineler kullanılırken, iki tane Pro Max GB10 sistemi birleştirildiğinde toplamda 256 GB gibi devasa bir yerel işlem alanı oluşuyor.
Yeni nesil yapay zeka sistemleri, özellikle çoklu iş yüklerini yönetmek için optimize edilmiş ağ mimarilerine sahip. NVIDIA'nın DGX Spark platformunun benimsemesi gibi, entegre ConnectX 7 ara kartlar (NIC), sunucuları bir arada çalıştırmak için kritik rol oynuyor. Bu arayüzler üzerinden uzaktan bellek erişimi ve dağıtılmış yapay zeka hesaplama kümeleri oluşturulabiliyor.
Geliştirilen bu sistemlerde, iki veya daha fazla GB10 kutusunun birbirini tamamlaması sağlanıyor. Maliyet etkin çözümler sunan bu yaklaşım sayesinde, yüzlerce dolar tutacak pahalı çoklu GPU sunucusu toplama zorunluluğu ortadan kalkıyor. Bu, performans ile maliyet arasındaki dengeyi en iyi şekilde ayarlayan şu anki en mantıklı seçeneklerden biri olarak görülüyor.
Dell tarafından piyasaya sürülen bu sistemler, DGX Spark tasarımından temel unsurları devralırken birkaç pratik kullanıcı dostu özellik eklemiş durumda. Örneğin ön panelde bulunan güç göstergesi gibi detaylar bu cihazları farklı kılıyor. Teknik olarak, Pro Max GB10 modeli 25'lik bir Arm Cortex-A725 ve 10'luk Arm Cortex-X9 Çekirdeklerini kullanarak yapay zeka hesaplamaları için tasarlanmış Nvidia Blackwell GPU'larına sahip. Bu sistemi oluşturan ana belleğin kapasitesi ise tek bir üniteyle bile önemli ölçüde yüksek. Depolama alanında PCIe Gen 4 NVMe SSD sunarken, ağ bağlantısı tarafında NVIDIA ConnectX 7 Smart NIC ve 200 Gbps hız sağlayan QSFP gibi gelişmiş teknoloji kullanıyor.
Daha önce DGX Spark'ta kullanılan daha yeni nesil PCIe Gen 5 sürücü yerine, pazar koşulları nedeniyle bu modelde PCIe Gen 4 standartları tercih edilmiş olsa da sunulan genel performans ve mimari hala sektördeki üst düzey yapay zeka gereksinimlerini karşılama potansiyeline sahip.
Google, Android telefonlarda Google Assistant dönemini kapatarak Gemini'a geçişi geniş kullanıcı kitlesine açtı.
Henüz yorum yapılmamış. İlk yorumu sen yap!
E-posta adresiniz yayımlanmayacaktır. Gerekli alanlar (*) ile işaretlenmiştir.
