B2B SaaS

Kaan

Slack iç-asistan

Yerel · Llama 3.1 8B Eğitmen · Claude Sonnet 6 dk okuma

Otuz günün özeti

Gün 1
İlk kurulum. Kaan, 28 kişilik SaaS şirketi Slack iç-asistanı.
100% onay
Gün 5
İlk @kaan mention'ları. SOP ve tatil politikası soruları %85 doğru cevap.
kalibrasyon başladı
Gün 10
Eğitim seansı: 'cevap belirsizse insan etiketle' kuralı eklendi.
olgunluk 16 → 38
Gün 16
Kaan pattern fark etti — 5 kişi son hafta aynı PR review template sorusu.
yan-akıl
Gün 23
Otonom cevap %58'e çıktı. SOP, tatil, masraf kalıp soruları %92 doğruluk.
%58 otonomi
Gün 30
Sabah brifing #genel kanalında: '12 yeni soru, 8'i kalıp — direkt cevapladım, 4'ü insan ekledim.'
bağ uzun

Bağlam

Bir Türkiye merkezli B2B SaaS şirketinde (28 kişilik) Ilura ile yetiştirilen Slack iç-asistan agent’ının 30 günlük günlüğüdür. Kaan’ın görevi: ekip içi soruları (SOP, tatil politikası, PR template, masraf hatırlatması) cevaplamak, kalıp soruları otomatize etmek, belirsizleri ilgili insanlara yönlendirmek.

Şirket büyüklüğü: 28 kişi (mühendis, satış, destek, yönetim). Slack workspace haftada ~2.000 mesaj.

Niye agent, niye basit Slack bot değil?

Klasik Slack bot:

  • /tatil-politikası slash → sabit metin
  • /sop-onboarding slash → link

Ama gerçek soru çoğunlukla farklı:

  • “Yarın izin almam gerek, kaç gün önceden mi?”
  • “Yeni başlayan için hangi dokümanlar?”
  • “PR template’i nereye?”

Bunları slash command’a sığdıramazsın — kullanıcı sözel sorar. Kaan LLM ile soruyu anlıyor, dokümandan cevabı çıkarıyor.

Mimari

Slack Workspace
    ↓ (Bot User OAuth + event subscriptions)
Yerel: Llama 3.1 8B (şirket sunucusu)
    ├─► Notion + Confluence belgeleri (yerel embedding)
    ├─► Slack mesaj geçmişi (yerel — search içerik)
    ├─► Ekip rol tablosu (kim hangi domain)
    └─► PII maskeleme

Karar:
  - Confidence > 0.75 → otonom cevap
  - 0.65-0.75 → cevap + ‘kontrol et: @[ilgili]’ etiket
  - < 0.65 → ‘Bunu bilmiyorum, @[ilgili-takım]’ etiket

Haftada bir:
  Eğitim → maskeli özet (soru tipi, doğruluk) → Claude → LoRA → Llama

30 günün özeti

Hafta 1 — kalıp tanıma

İlk hafta Kaan SOP ve tatil politikası gibi kalıp soruları öğrendi. 87 soru cevapladı, 74’ü doğru (%85), 13’ünde insan düzeltme yaptı.

Düzeltmelerin çoğu “bu özel durum, X kişi bilir” tarzı.

Maturity: 16.

Hafta 2 — belirsizlik eşiği

Eğitim seansında 67 örnek Claude’a gitti. Eğitmen önerdi:

“Kaan’ın en büyük riski uydurma. Confidence 0.65 altında olduğunda mutlaka insan etiketleyici. ‘Bunu bilmiyorum’ demek uydurmaktan iyi.”

Kaan bu kuralı öğrendi. Sonraki hafta belirsiz sorulara “Bunu bilmiyorum, @hr-team buraya bakar mı?” tarzı cevaplar geldi. Yanlış cevap riski %2’den %0.4’e düştü.

Maturity: 16 → 38.

Hafta 3 — pattern tanıma

  1. günde Kaan bir pattern fark etti:

“Son 7 günde 5 farklı kişi PR review template sordu. Cevap aynı belge link. Belki #engineering kanalına pinned mesaj koymak işe yarar?”

Mühendislik ekibi yöneticisi inceledi: PR template gerçekten her yeni dev’in sorduğu şey. Pinned mesaj eklendi, sonraki hafta tekrar soru %80 düştü.

Maturity: 38 → 47.

Hafta 4 — sabah brifing

  1. günden sonra Kaan sabah brifing #genel kanalında:

“Günaydın 👋 Dün 12 soru geldi: — 8’i kalıp (SOP / tatil / masraf): direkt cevapladım — 4’ü ekip-özel: @engineering @hr @sales etiketledim — 1 yeni pattern: ‘fatura döngü tarihi’ 3 kez soruldu, @finance bakar mı?”

Bu brifing yöneticilere işin temposunu veriyor — hangi soruların tekrarladığı, hangi belgenin eksik olduğu görünüyor.

Maturity: 47 → 62.

Bağ paneli — gün 30

MetrikDeğer
Toplam soru1.847
Otonom cevap1.071 (%58)
İnsan etiketleyen738 (%40)
Yanlış otonom cevap7 (%0.4)
Pattern uyarısı6
Belge önerisi12 (eksik SOP / pinned mesaj)
Maturity skoru62
Cevap süresi ortalama12 saniye (eski insan: 47 dakika)

47 dk → 12 sn cevap süresi = devasa fark. Çalışan beklemiyor; iş akışı kesilmiyor.

Üç ders

1. Belirsizlikte susmak değil, etiketlemek

“Bunu bilmiyorum” tek başına yetmez. Kaan “Bunu bilmiyorum, @hr-team bakar mı?” der — soruyu doğru kişiye yönlendiriyor. Bu değer yaratıyor.

2. Pattern uyarısı = belge boşluğu işareti

“5 kişi PR template sordu” = belgenin eksik veya bulunmaz olduğunun işareti. Kaan pattern’i bildiriyor, belgeleme ekibi düzeltiyor; sonraki haftada sıfır soru.

3. Otonomi belge zenginliğine bağlı

%58 otonomi yüksek görünüyor ama bu belgelerin kalitesine bağlı. Az belgelenmiş ekipte agent’ın otonomi oranı %20’lere düşer. İyi belgeleme = iyi agent.

Diğer SaaS şirketler için

Kaan Slack tanımı kopyalanabilir. Ama:

  • Belgeler taşınmaz (her şirketin kendi Notion/Confluence)
  • Ekip rolleri taşınmaz (kim hangi domain)
  • Kalıp sorular sektöre göre değişir

30 günde benzer olgunluğa ulaşılır — şirketin belge kültürüne göre.

Sıkça sorulanlar

Slack bot vs agent farkı?
Bot kuralla cevap (slash command, sabit FAQ). Kaan LLM tabanlı, dokümandan anlam çıkarıyor, soru bağlamını takip ediyor, belirsizliği insanlara aktif olarak aktarıyor.
Hangi dokümanlardan cevap üretiyor?
Notion + Confluence + Google Drive bağlantısı. Tezgah bağlandığında embedding'leri yerel vektör DB'ye yazıyor; soru gelince RAG ile en yakın 3-5 belge pencereye giriyor.
Çalışan veri sızıntısı riski?
Yerel mimari = sıfır sızıntı. Slack mesajı yerel sunucuda, embedding yerel, çıkarım yerel. Eğitim için sadece maskeli özet Claude'a gidiyor — kişi adı + içerik gizli.
‘Cevap belirsiz’ ne zaman?
Tezgah'ta belirsizlik eşiği 0.65 confidence. Altında: ‘Bunu bilmiyorum, @sales team' / @engineering' diye etiketle.’ Uydurmaya karşı en güçlü savunma.