AI Agent Harness vs Model: Nvidia Notu

Harness mi model mi, önce biz karar verelim

Çok-ajanlı bir sprint sistemini kendi altyapında çalıştırdıysan bu ikilem tanıdıktır: lider ajanı ya da worker’ı daha güçlü bir modele geçirirsin, sonuç beklediğin kadar sıçramaz. AgentSpace’te aynı soruyu defalarca sorduk — darboğaz gerçekten model mi, yoksa görev panosu, hafıza ve izin borusu mu? İngilizce aratılan haliyle “ai agent harness vs model” sorusu da tam bunu soruyor.

Nvidia’nın Cuma günü yayınladığı araştırma bu soruya net bir cevap veriyor. TechCrunch’ın haberine göre, araştırmacılar Claude Opus 5’i hafızayı iyi yöneten ve bir “supervisor” bileşeni içeren özel bir harness’a bağlayınca ARC-AGI-3 benchmark’ında yüzde 100 skor aldı; aynı model harness olmadan yalnızca yüzde 30’da kaldı — test edilen tüm modeller arasında en iyi çıplak sonuçtu. Nvidia’daki El Hallak’ın özetiyle harness “model, scaffolding, runtime ve erişilen tool/kütüphane setinin toplamı”.

Bizim notumuz: bahsi zaten harness’a oynamıştık

Bu bulgu AgentSpace’te operasyonel olarak gördüğümüzle örtüşüyor: lider-worker mimarisinde görev panosu, kalıcı hafıza ve tool/izin katmanı, hangi Claude sürümünü koştuğumuzdan daha çok değişkeni belirliyor. Nvidia’nın “supervisor” bileşeni — worker tıkandığında ya da yanlış yola saptığında müdahale eden bir üst katman — AgentSpace’in lider ajan rolünün yaptığı işe kavramsal olarak yakın. Bunu bir doğrulama olarak okuyoruz, kanıt olarak değil: elimizde ARC-AGI-3 tarzı kontrollü bir test yok, Nvidia’nınki gibi ölçülmüş bir “harness açık/kapalı” karşılaştırması hiç yapmadık.

Değişecek olan: worker ajan tıkandığında lider ajanın müdahale mantığını (ne zaman nudge eder, ne zaman görevi böler) daha açık bir kural setine dökmeyi planlıyoruz — şu an bu büyük ölçüde örtük. Değişmeyecek olan: model seçimini hâlâ takip ediyoruz ama artık her yeni Claude sürümünde “bu sefer sıçrama gelir mi” diye ölçmek yerine, önce hafıza ve görev panosu tarafında neyin kısıtladığına bakıyoruz. Sprint başına token maliyeti tarafında da benzer bir sezgi var — harness kurulumu modelden bağımsız olarak faturayı şişirebiliyor — ama bunu da henüz sayısallaştırmadık.

Okuyucu bugün ne yapsın

Kendi ajan sisteminde bir sonraki model yükseltmesinden önce şunu kontrol et:

• Worker ajan tıkandığında onu geri çeken bir “supervisor” adımı var mı, yoksa sonsuz döngüye mi giriyor?
• Görev panosu ve hafıza kaydı model değişse de aynı mı kalıyor, yoksa modelle birlikte mi sıfırlanıyor?
• Bir sonraki model testinde skor farkını harness’ı sabit tutarak mı ölçüyorsun, yoksa ikisini aynı anda mı değiştiriyorsun?

Sonuç olarak: bir sonraki model yükseltmesine geçmeden önce harness’ını — hafıza, görev panosu, supervisor katmanı — sabitleyip test et, aksi halde hangi değişikliğin işe yaradığını asla bilemezsin.