Özgür Işık Damar

Konu zekâsı2026

ContextLens

Sohbetin neyle ilgili olduğunu izler — emin değilse tahmin yerine “uncertain” diyebilir.

Açık kaynak · Apache-2.0 · model v1.1.0

python project.py

Kanıtlar

macro-F1, 8 genel konu, kilitli WIKIPEDIA holdout'u
0,838
reports/locked/results.json
medyan sınıflandırma gecikmesi, 4 vCPU, GPU yok
19,9 ms
reports/locked/results.json
asistan sohbetinde konu dışı AUROC
0,961
reports/locked/results.json
diskteki modelin tamamı, kodlayıcı dahil
47 MB
README.md

Her sayı depodaki bir dosyadan geliyor — yolu hemen altında.

Sorun

Softmax sınıflandırıcı her zaman bir konu döndürür: “I'm going to order pizza tonight” cümlesine ContextLens'in altındaki model de %53,0 ile Books der. Sohbette bu, susmaktan kötüdür; başıboş bir etiket temayı yönlendirir. Üstelik yalnızca ansiklopedi metnine bakılarak seçilen bir model sıralamada birinci olup insanların gerçekten yazdığı kısa sorularda yine de tökezleyebilir.

Yaklaşım

İncelenen dokuz veri setinden hiçbiri 8 × 28'lik taksonomiyi kapsamadığından İngilizce Wikipedia'dan 40.112 pasajlık bir derlem kuruldu; etiketler Wikipedia'nın kendi kategori grafiğinden geliyor. İnce ayarlı bir MiniLM kodlayıcı, 28 alt konu üzerinde sıcaklık ölçeklemeli tek bir softmax'ı besler; Mahalanobis mesafe kapısı, %50'lik güven eşiği ve fastText dil kapısı da yanıtın ne zaman “uncertain” ya da “not English” olacağını belirler. Temayı yalnızca güvenle sınıflanan mesajlar besler: tema sönümlenir, dört tur boyunca güvenilir bir konu gelmezse sıfırlanır ve baskın konusu birbirini doğrulayan iki mesajla değişir; bunun bedeli, gerçek bir konu değişiminin yaklaşık 0,6 tur gecikmeyle izlenmesidir. Tüm seçimler, gerçek Stack Exchange soruları da dahil olmak üzere geliştirme verisiyle yapıldı; nihai skorlar, yapılandırmanın parmak izi alındıktan sonra puanlanan kilitli bir holdout'tan geliyor.

Neler hazır

  1. Konu dışı asistan sohbetinin %78,1'inde, konu dışı soruların yalnızca %48,5'inde “uncertain” der; İngilizce olmayan cümlelerin %96,7'sini ayırt eder
  2. Kodlayıcı gerçek sorulara da bakılarak seçildi: mpnet-base Wikipedia'da başa baş ama 4,9 kat daha yavaş ve sorularda daha zayıf
  3. Kilitli holdout SHA-256 dondurmasından sonra puanlandı; iki kez koşması gerekti, iki koşu da gerekçesiyle açık
  4. Simüle sohbetlerde tek mesajlık bir konu sapması temayı artık vakaların %10,4'ünde ele geçiriyor; önceden %48,8'di

Mimari

ContextLens — Deponun kendi diyagramından çalışma zamanı: dil kapısı, ince ayarlı MiniLM, 28 yollu softmax ve Mahalanobis kapısı; ardından sönümlenen bağlam izleyici, tema oluşturucu ve anahtarsız arama.
Deponun kendi diyagramından çalışma zamanı: dil kapısı, ince ayarlı MiniLM, 28 yollu softmax ve Mahalanobis kapısı; ardından sönümlenen bağlam izleyici, tema oluşturucu ve anahtarsız arama.

README demosunun gerçek CLI çıktısı: roman, bilimsel yöntem ve evrim ayrı ayrı konu, alt konu ve güven alır; üçü, aramayı da besleyen tek temada birleşir: “science books about biology”.

1 / 4
// geliştirme notlarıKilitli holdout'u iki kez koşturdum — iki koşu da neden herkese açıkKilitli test setim iki kez koştu: tek bir alan 1.151 soruyu manşet skorundan saklamıştı. Veriyi düzelttim, modelin yerinden kıpırdamadığını kanıtladım ve iki koşuyu da yayımladım.Geliştirme notlarını oku