Özgür Işık Damar
Veri & Yapay Zeka

Ajan güvencesi2026

AgentTwin

200 OK yanıtının gizlediği ajan regresyonlarını, başladıkları adıma kadar yakalar.

Açık kaynak · Apache-2.0 · 1–3. fazlar tamamlandı, 4–8 yol haritasında

GitHub'da kaynak kodGeliştirme notlarını oku
agenttwin · demo workspace

Kanıtlar

demoda yakalanan yeni kritik hata
2
docs/plan/implementation-board.md
demo karşılaştırmasında ilk ayrışma
2. adım
docs/plan/implementation-board.md
Python SDK: araç span'i ek yükü, p50, içeriksiz
~43 µs
docs/benchmarks/sdk-overhead.md
mimari karar kaydı (ADR)
25
docs/adr/

Her sayı depodaki bir dosyadan geliyor — yolu hemen altında.

Problem

Bir ajan, müşteriye iki kez iade yaptıktan sonra — ya da hiç yapmadan — 200 OK ve kendinden emin bir “iade tamamlandı” dönebilir. İzler ne olduğunu kaydeder; bir sonraki sürümün güvenle canlıya çıkıp çıkamayacağını söylemez. İyileştirme gibi görünen bir prompt değişikliği geri alınamaz bir işlemi bozabilir ve bunu hiçbir durum kodu göstermez.

Yaklaşım

İzler OpenTelemetry üzerinden gelir; ajanın beyan ettiği sonuç, doğrulanan sonuçtan ayrı tutulur. Sürümlenmiş senaryolar ajanı durumlu araç ikizlerine karşı koşturur; ikizler seed'e bağlı hatalar enjekte eden ve her çağrıyı kendileri kaydeden bildirimsel belgelerdir, bu yüzden ajan kendi yörüngesini uyduramaz. Referans ve aday sürüm, aynı paket ve aynı seed ile tek bir sabitlenmiş çift olarak koşar; her vaka sınıflandırılır ve ilk ayrışan adım belirlenir. 1–3. fazlar bu kanıtı üretiyor; onu etki alanı analizi ve çalışma zamanı ağ geçidiyle birlikte PASS / WARN / BLOCK kararı veren bir sürüm kapısına dönüştürmek yol haritasında.

Neler hazır

  1. Araç ikizleri kod değil, belge: 19 hata davranışı var ve aynı seed aynı hataları üretir
  2. Senaryolar başarı iddiasını ikizin son durumuyla sınayabilir: 200 OK dönen etkisiz yazma başarısız sayılır
  3. Her anlamsal karar, hakeminin kalibre olup olmadığını kaydeder; cevap veremeyen hakem not değil, hata üretir
  4. Sıfırdan kurulan yığında 16 uçtan uca test; 72 API işleminin tamamı OpenAPI 3.1 sözleşmelerine bağlı

İlk ayrışma 2. adımda: v1.2.4'ün iade politikasını kontrol ettiği yerde v1.3.0 geri alınamaz refund_payment çağrısını yapıyor; referansın geçtiği dört beklenti artık başarısız, üçü kritik.

1 / 6
// geliştirme notları200 OK, iki kez iade: ajanı cevabıyla değil, bıraktığı durumla değerlendirDemo iade ajanım 200 döndü, SUCCESS dedi ve iki kez iade yaptı. Bunu nasıl yakaladığım: her çağrıyı kendisi kaydeden araç ikizleri ve yanıtla durumu birbirinden ayıran hatalar.Geliştirme notlarını oku

Diğer 2026 ürünleri