Bağlam penceresi
Diğer adlandırmalar: context window , bağlam
Tanım
Bağlam penceresi (İngilizce: context window), bir LLM’in bir çıkarım için aynı anda görebildiği token sayısıdır.
- Sistem çağrımı, konuşma geçmişi, çağrılan tool sonuçları — hepsi pencere içine sığar.
- Pencere dolarsa: en eski kısmı atlar veya hata fırlatır.
Pencere ≠ bellek
Önemli ayrım:
- Bağlam penceresi = oturum içinde aynı anda görülebilen
- Bellek = oturumlar arası kalıcı kayıt
Pencere ne kadar büyük olursa olsun, oturum bittiğinde temizlenir. Bellek kalır.
Pratik boyutlar
| Model | Pencere |
|---|---|
| Llama 3.2 3B | 8K |
| Llama 3.1 8B | 128K |
| Mistral 7B | 32K |
| Claude Sonnet 4.5 | 1M |
| GPT-4o | 128K |
| Gemini Pro 2.5 | 2M |
Türkçe 1 token ≈ 0.5-0.7 kelime. 128K pencere ≈ 80.000 kelime.
Orta körlüğü
2024 araştırması (Liu et al., “Lost in the Middle”): büyük pencerede modeller pencere ortasındaki bilgiyi kaçırma eğiliminde. Baş ve son daha iyi takip ediliyor.
Pratik sonuç: 1M token pencerede tüm dosyayı atmak yerine, ilgili parçayı seç ve pencereye koy. Notlara bakma tam bunu yapar.
Yaygın yanılgılar
“1M pencere belleği gereksiz kılar.” — Hayır. Oturum bittiğinde 1M de gider.
“Daha büyük her zaman daha iyi.” — Çoğu görevde 32K-128K yeter. Ekstra pencere ekstra maliyet (token başına ücret) ve gecikme demek.
“Pencere büyük = kararlar daha doğru.” — Veriye değil, doğru parçaya bağlı. Daha çok değil, daha doğru bilgi.