Tanım
Robots.txt, web sitesinin kök dizininde yer alan ve arama motoru botlarına hangi URL alanlarının taranıp taranmaması gerektiği hakkında yönergeler veren metin dosyasıdır.
Robots.txt, crawlerların site içindeki belirli dizinlere veya URL kalıplarına erişimini yönetmek için kullanılır. Ancak bu dosya indeksleme kontrolüyle aynı şey değildir. Bir URL robots.txt ile engellenirse arama motoru sayfayı tarayamayabilir; fakat başka kaynaklardan keşfedilen URL bazı durumlarda dizinde görünebilir.
Teknik SEO açısından robots.txt, crawl budget yönetimi, gereksiz URL taramasını azaltma ve hassas olmayan teknik alanları botlardan uzak tutma amacıyla kullanılır. Gizli veya güvenlik açısından kritik bilgiler için yeterli koruma yöntemi değildir.
Kökeni
Robots.txt, web crawlerların site sahiplerinin tarama tercihlerini anlaması için geliştirilmiştir. Web büyüdükçe botların tüm sayfaları sınırsızca taraması sunucu yükü ve kalite sorunları yaratabilir.
Robots Exclusion Protocol mantığıyla çalışan bu dosya, site sahiplerine botlara yol gösterme imkânı sağlar. Arama motorları bu yönergelere genellikle uyar; ancak kötü niyetli botlar robots.txt dosyasını dikkate almak zorunda değildir.
SEO’nun gelişmesiyle robots.txt, teknik site yönetiminin temel bileşenlerinden biri haline gelmiştir. Yanlış yapılandırıldığında önemli sayfaların taranmasını engelleyebilir.
Nerelerde Kullanılır?
Robots.txt; staging alanlarını, parametreli URL kalıplarını, iç arama sonuçlarını, filtre sayfalarını, teknik dizinleri veya gereksiz tarama alanlarını yönetmek için kullanılabilir.
Bir e-ticaret sitesinde sonsuz filtre kombinasyonları crawlerları gereksiz URL’lere yönlendiriyorsa robots.txt ile bazı parametre yolları sınırlandırılabilir. Ancak bu karar indeksleme ve iç link yapısıyla birlikte değerlendirilmelidir.
SEO ekipleri robots.txt dosyasını site geçişleri, yeni tasarım yayını, teknik denetim ve crawl budget optimizasyonu sırasında mutlaka kontrol etmelidir.
Örnek Kullanım
Bir site, arama motoru botlarının “/admin/” dizinini taramamasını istiyorsa robots.txt içinde bu dizin için disallow kuralı tanımlayabilir.
Bir teknik SEO uzmanı, “Robots.txt dosyasında yanlışlıkla tüm site disallow edilmiş; bu organik görünürlüğü ciddi etkileyebilir” diyebilir.
Karıştırılan Kavramlar
- Robots.txt ve Noindex: Robots.txt taramayı yönetir. Noindex sayfanın dizine alınmamasını bildirir. Noindex’in görülmesi için sayfanın taranabilmesi gerekir.
- Robots.txt ve Sitemap: Sitemap arama motorlarına önemli URL’leri bildirir. Robots.txt tarama izinlerini yönetir ve sitemap konumunu da gösterebilir.
- Robots.txt ve Meta Robots: Meta Robots sayfa düzeyinde yönerge verir. Robots.txt site veya dizin düzeyinde tarama kontrolü sağlar.
- Robots.txt ve Security: Robots.txt güvenlik aracı değildir. Engellenen yollar dosyada açıkça görülebilir.
İlgili Terimler
- Crawling
- Crawl Budget
- Googlebot
- Noindex
- Sitemap
- Meta Robots
- Technical SEO
- Indexing
- Crawlability
Büyüme Mimarisi Notu
Robots.txt, büyüme mimarisinde arama motoru botlarının site kaynaklarını nasıl kullanacağını yöneten temel teknik kontroldür. Küçük bir hata büyük görünürlük kaybı yaratabilir.
Robots.txt kararları SEO, geliştirme ve içerik ekipleriyle birlikte alınmalıdır. Tarama engellemek kolaydır; yanlış sayfayı engellemek organik büyümeyi durdurabilir.