7 farklı bölgede faaliyet gösteren ve toplamda 63 düğümden oluşan bir altyapı, beklenmedik bir sistem güncellemesi sonrasında ani ağ kesintileri yaşadı. Gelen her seferinde makine yeniden başlatılsa da, bu krizin neden arkasında yatan temel teknik sorunun ne olduğu bilinmiyordu. Bu gibi karmaşık ve büyük veri setlerine dayalı sorunları çözmek için geleneksel yöntemler yetersiz kalıyordu.
Bu zorlu durum karşısında ekip, devasa miktarda günlük (log) verisini manuel olarak taramak yerine yapay zekayı bir muhakeme ortağı olarak kullanmaya karar verdi. Bu model sayesinde saatler sürecek inceleme ve analiz süreci bir saate indirildi; kritik 50 satırlık doğru veriler saniyeler içinde tespit edildi.
Etkilenen düğümlerin tümünde aynı belirtiler gözlemlendi. Hem ana hem de işçi (worker) düğümler bu sorunlardan etkilenmişti. Her bölgedeki toplam 7 veya 11 gibi farklı düğüm sayılarına bakılmaksızın arıza biçimi tam olarak birebir aynıydı. Belirtiler şunlardı:
Düğüm, ağ üzerinden ping ile ulaşılamaz hale geliyordu. SSH protokolü bağlantı kuramıyordu. Hata mesajları konsol erişiminde görünse de, düğümler kendi varsayılan ağ geçitlerine ulaşabiliyor olsalar da temel ağ işlevlerini yerine getiremiyordu.
Küme bakış açısıyla bu düğümler 'Hazır Değil' (NotReady) statüsünde kalıyor ve içlerindeki uygulamaların çalıştığı kapsayıcılar belirsiz bir durumda bekliyordu. Tek çare, makineyi zorla yeniden başlatmak ve her seferinde normale dönmesini izlemekti.
Arızanın tetikleyicisi hiçbir uygulama dağıtımı veya yapılandırma değişikliği değildi; bu durum sorunlu olabilecek farklı bölgedeki eş zamanlı ortaya çıkışını ilk başta bağımsız, hatta tesadüfi donanım arızaları olarak göstermiş gibiydi.
Sistemler yeniden başlandıktan sonra anlık durum bilgilerinin hepsi kayboldu. Elde kalan tek şey, yaklaşık bir haftaya ait faaliyetleri kapsayan ve gün içinde dönüştürülmüş günlük dosyalarıydı (kern.log, syslog gibi). Bu ana kayıt dosyasının boyutu 200 Megabayttan fazla olduğuna göre, içindeki yüz binlerce satırı insan gözünün haricinde okuması pratik bir seçenek değildi.
Arızanın kesinleştiği pencere bilinmiyordu ve tetikleyici neden belirsizdi. İnsan gücüyle bu kadar devasa yapıda anlamlı bir kalıp aramak, hem çok zaman alıcıydı hem de hata payı taşıyordu. Bu noktada dil modellerinin sunduğu büyük veri anlama kapasitesi kritik önem kazandı.
before süreçlere başlanmadan önce yapay zeka modeline (LLM) sistem günlükleri aktarılacak olan verilerin kapsamlı bir güvenlik kontrolünden geçirilmesi gerektiği vurgulandı. Bu adım zorunludur; sorumlu bir YZ destekli arıza incelemesinin ön koşuludur.
yielden kernel ve syslog gibi işletim sistemi kayıtları, servis başlangıçları, çekirdek mesajları ve ağ durumu değişimleri hakkında bilgi verir ancak doğrudan uygulama gizli anahtarları veya kullanıcı kimlik bilgilerini içermez. Yine de bu veriler içinde şirket politikalarına göre hassas kabul edilebilecek dahili IP adresleri, host isimleri gibi bilgiler barındırabilir.
ol süreçte alınan önlemler; internal IP adreslerinin anonimleştirilmesi ve belirli altyapıyı tanımlayan ana bilgisayar (hostname) adlarının jenerik hale getirilmesiydi. Analiz yalnızca işletim sistemi düzeyindeki günlüklerle sınırlandırıldı ve canlı sistemler üzerinde değil, verilerin çevrimdışı kopyaları üzerinden yapıldı.
yek ile bir LLM bazlı muhakeme katmanı kullanılarak sorunun zaman ekseninde yerleştirilmesi sağlandı. Sistemdeki her komut YZ tarafından önerilse bile, bu komutlar ekibe ait iç güvenlik protokolleri çerçevesinde dikkatlice incelendikten sonra manuel olarak yürütüldü; model bir otonom ajan değil, yapılandırılmış bir analiz ortağı rolündeydi.
Bu süreç sayesinde krizin kök nedeni tespit edildi ve hatalı sistem güncellemeleriyle ilgili yönetici (unattended-upgrade) politikaları sıkılaştırıldı. Ayrıca Cilium arayüzleri ile systemd-network tarafından yönetilen ağ ayarlarının ilişkilendirilmesi düzelterek yapısal bir çözüm sağlandı.
Yapay zeka, büyük ve yapılandırılmamış günlükler gibi ham veriler içinde kritik sinyali bulma ve olaya dair zaman çizgisini belirleme yeteneğiyle olay çözme süresinde büyük bir kısalma sağlamıştır.
Henüz yorum yapılmamış. İlk yorumu sen yap!
E-posta adresiniz yayımlanmayacaktır. Gerekli alanlar (*) ile işaretlenmiştir.
