Production Agentic AI

Beni ne zaman ararsınız

• Agent prototipi demoda iyi görünüyor ama production'da LLM faturası tırmanıyor ve hangi çağrının parasını hak ettiğini kimse söyleyemiyor.
• Doğru aracı güvenilir biçimde seçen bir tool-calling sistemi lazım — beşte dört kez tutturan bir prompt değil.
• Agent ara sıra düpedüz yanlış şeyler iddia ediyor ve sizin alanınızda "ara sıra" bile fazla.
• Ekip haftalardır aynı güvenilirlik sorununun etrafında dönüyor ve bu dersin parasını zaten ödemiş birine ihtiyaç var.

Ne yapıyorum

• Bütçe zarfları — her agent çalışmasına kodda zorlanan sert bir maliyet tavanı; prompt'a yazılıp dua edilen değil.
• Retry ve fallback zincirleri — önce ucuz model, güven düşünce yükseltme, sonsuz döngü yerine tanımlı bir durma noktası.
• Adaptif derinlik — basit istekler kısa yoldan gidiyor; pahalı muhakeme döngüsü onu hak eden sorgulara saklanıyor.
• Model katmanlama — görev profiline göre model boyutları arasında yönlendirme; maliyet farkı tahminle değil, görev başına ölçülerek.
• Doğrulama katmanları — iddialar kullanıcıya ulaşmadan önce kaynaklarla karşılaştırılıyor.

Sıfat değil, sayı

Nova'nın agentic tool-selection sistemi taşıdığı yük için ayda yaklaşık 4.000 dolardan başladı. Bütçe zarfları, model katmanlama ve adaptif derinlikten sonra aynı yük yaklaşık 40 dolara çalıştı. Bu bir makaledeki benchmark değil — düşüşünü kendi gözümle izlediğim bir production faturası.

Saha notları

Nereden başlarız

Discovery, bir-iki hafta, sabit ücret: mevcut agent'ınızı inceliyorum — çağrı izleri, prompt mimarisi, görev başına maliyet — karşılığında bir maliyet projeksiyonu ve somut bir plan alıyorsunuz. Dürüst bulgu "aslında agent'a ihtiyacınız yok" ise, o da dokümana giriyor.