Yönetici Özeti: Botlar HTML Değil, Temiz Anlam Arıyor
25 yıldır web sitelerimizi Googlebot’a göre tasarladık: ağır JavaScript kütüphaneleri, CSS animasyonları, reklam etiketleri ve karmaşık DOM yapıları. İnsan gözü için çekici olan bu yapı, büyük dil modelleri (LLM) için büyük bir veri kirliliğidir.
ChatGPT (GPTBot), Claude (ClaudeBot) ve Perplexity (PerplexityBot) gibi otonom crawler’lar bir web sayfasına girdiğinde tasarımınızı veya buton renklerinizi görmez; gürültüyü ayıklayıp doğrudan şirketin ne yaptığını ve hangi iddiaları kanıtladığını anlamaya çalışır.
Eğer siteniz gereksiz kod karmaşasıyla doluysa, AI botları sayfayı yarım yamalak okur veya token sınırına takılarak içeriğinizi sentezleyemez. Çözüm: llms.txt standardı.
llms.txt Nedir ve Nasıl Çalışır?
Tıpkı arama motorlarına hangi sayfaların taranacağını söyleyen robots.txt gibi, llms.txt de yapay zeka modellerine sitenizin özünü sade Markdown formatında sunan açık bir protokoldür.
Bir llms.txt dosyası genellikle sitenizin en üst seviyesinde (https://siteniz.com/llms.txt) yer alır ve şu bilgileri içerir:
- Şirketinizin bir cümlelik net tanımı ve uzmanlık alanı.
- Temel ürün ve hizmet kategorilerinin doğrudan linkleri.
- Sektörel benchmark raporları ve metodoloji sayfaları.
- Kurumsal iletişim ve doğrulama kanalları.
3 Adımda Sitenizi Yapay Zekaya Hazırlama Kontrol Listesi
- Kök Dizine llms.txt Ekleyin: Şirketinizin en kritik 15-20 sayfasını listeleyen temiz bir markdown indeksi oluşturun.
- Gereksiz JavaScript Bağımlılıklarını Azaltın: İçeriğin görüntülenebilmesi için istemci taraflı (client-side) ağır rendering şart olmamalı; temel metinler ilk HTML yanıtında sunulmalıdır.
- Tablo ve Verileri Markdown Formatında Destekleyin: Yapay zeka sistemleri karmaşık HTML div’leri yerine markdown tablolarını 10 kat daha doğru anlar ve alıntılar.
Kaynaklar ve Referanslar
- llmstxt.org (2024). The llms.txt Standard Specification.
- OpenAI & Anthropic (2025). Anthropic & OpenAI Crawler Guidelines.