Otomatik kodlama ajansları (agentler) geldiği günden beri büyük bir heyecan yaratıyor. Bir tanımını kolaylıkla yapabilen veya basit görevleri tek başına hallebilen bu sistemler, demo aşamasında büyüleyici ve neredeyse sihirli görünüyor. Ancak üretim ortamına geçtiğinde gerçek hikaye çok daha farklıdır; %90 başarı oranı bile pratik olarak bir güvenlik açığına dönüşebiliyor.
Sorun yetenek (capability) eksikliği değildir. Yapay zekanın temel problem durumu, güvenilirlik sorunudur. Sistemin karmaşık ve uzun adımlı görevleri her seferinde doğru şekilde tamamlama olasılığıdır. %10'luk başarısızlık oranı, en tehlikeli türü temsil eder: agent çökmüyor veya yardım istemiyor; sadece yanlış bir cevabı, kendinden emin bir dille doğruymuş gibi sunuyor. Bu durumun bedeli; sistemin başka bölümlerini çökertme, eski verileri sildikten sonra uygulamaya devam eden hizmetler yaratma ya da yüzeysel 'tamiratlar' ile temel hataları görmezden gelmek oluyor.
Artık demo sonuçları yerine gerçek dünyaya odaklanmak, sistematik bir disiplin gerektiriyor. Bizim kendi ekibimizde kasıtlı olarak kendimizi çok zorlayan %99.9 görev tamamlama hedefi belirledik ve bu sayı yalnızca bir metrik değil, iş yapış biçimimizi tamamen değiştiren temel ilke haline geldi. Bu seviyeye gelindiğinde başarısızlıkların insan gözü tarafından fark edilmesi imkansızdır; sistemi kendi kendine hata yakalamaya zorlamak gerekir.
Yapay zeka bir görevde başarısız olduğunda doğal tepkimiz daha iyi veya daha akıllı bir model kullanmak olur. Ancak belirli bir noktadan sonra bu dürtü hatalıdır. Daha akıllı modeller ortalama çıktı kalitenizi artırabilir ancak en kötü senaryodaki performansa pek etki etmez; güvenilirlik ise tam olarak bu en kötü durumlarda gizlidir.
Yüzde 100'den yüzde 99,9'a doğru ilerlerken eklenen her onluk puan için daha akıllı bir ajan değil, spesifik bir hata yakalama mekanizması inşa etmek gerekir. Güvenilirlik, mekanik, tekrarlayıcı ve hatta sıkıcıdır; bu yüzden işe yarar. Agent hala olasılıklara dayanır ancak etrafına kurulan güvenlik ağı (harness) tamamen belirleyici hale gelir.
Yüksek yetenekli bir ajanın dahi kaçınılmaz olarak tökezleyeceği hata modellerini kapamak için bu sistematik yapıyı beş temel direğe oturttuk. Bu mimari, ham ve saf ajanı güvenilir bir sistem haline getiriyor.
büyük ölçekte ilk bozulacak şey ajanların mantık yürütme yeteneği değil, bulundukları konuma dair algılarıdır. 'Şu anda hangi görevi yapıyorum?', 'Bu işlem hangi kod dalında gerçekleşiyor?' gibi soruların yanlış yanıtlanması, mükemmel bir akıl yürütense bile tamamen alakasız sonuçlara yol açar.
Bizim çözümümüz, her üretilen parça (kod, plan, test raporu) için tek bir sorumlu adres (task hub) tanımlamaktır. Dağınık dosyalar veya geçici klasörler yerine tüm görev çıktısı izlenebilir ve yönetilebilir bir birimin içinde kalır. Bu yapıya ek olarak, ajanın hangi görevi aktif olarak yürüttüğünü belirlemek için öncelik kademesi olan bir kontrol mekanizması yerleştirildi. Ajan artık bağlamı tahmin etmiyor; sistem bu bilgiyi kesin ve tartışmasız bir şekilde ona sunuyor.
yeterince akıllı olduğu düşünülen agentler bile kritik bir noktada hata yapabilir. Ancak bir uyarı mekanizması sadece önermesidir; bu uyarıyı agent mantığıyla geçebilir. Bu yüzden biz 'uyarmak' yerine 'engellemek' ilkesini benimsedik.
bulunan herhangi bir kod satırı geliştiricinin makinesinden çıkmadan üç bağımsız kontrol noktasından geçer: Birincisi, tüm değiştirilen kodun yapay zeka tarafından incelenmesi ve genel kalitesine bakılması. İkincisi, yapılan değişikliklerin gerçekten test kapsamı içerisinde olup olmadığının analiz edilmesi. Üçüncüsü ise en kritik olanıdır: Repo sınırlarını aşan etki analizi. Bu kontrol mekanizması, ajanın kör olduğu tek noktaya odaklanır; yani çalıştığı klasördeki dosya değil, bu değişikliğin diğer sistemler üzerindeki yan etkileridir. Yüksek seviyeli veya kritik bir uyumsuzluk tespit edildiğinde iş akışı kesin olarak durur. Bu katı kurallar sayesinde ajanlar öznel yargılara dayalı risk almaktan kaçınır ve en ufak bir şüphe anında geri çekilir.
OpenAI yönetim kurulunda Sam Altman'ın görevden alınması yönünde oy kullanan Helen Toner, yapay zeka CEO'larına güvenmenin yeterli olmadığını vurguluyor.
Henüz yorum yapılmamış. İlk yorumu sen yap!
E-posta adresiniz yayımlanmayacaktır. Gerekli alanlar (*) ile işaretlenmiştir.
