robots.txt testi: sayfanız arama motorlarına açık mı?

robots.txt dosyanızı okuyup hataları bulur; girdiğiniz sayfanın Googlebot, Bingbot ve diğer botlar tarafından taranıp taranamayacağını hangi kural yüzünden olduğuyla birlikte gösterir.

robots.txt ne işe yarar?

Sitenizin kök dizinindeki /robots.txt dosyası, arama motoru botlarına hangi bölümleri taramamaları gerektiğini söyler. Yönetim paneli, sepet veya arama sonucu gibi değersiz sayfaları dışarıda bırakmak tarama bütçenizi asıl içeriğinize ayırır. Ancak tek bir yanlış satır — en sık Disallow: / — sitenin tamamını Google'dan gizleyebilir.

Kurallar nasıl değerlendirilir?

• Bot kendi grubunu seçer: Googlebot için User-agent: Googlebot grubu varsa yalnızca o grup uygulanır; User-agent: * altındaki kurallar Googlebot'a uygulanmaz. Pek bilinmeyen ve sık hata yapılan bir noktadır.
• En uzun eşleşme kazanır: Disallow: /blog ve Allow: /blog/rehber varsa /blog/rehber/yazi taranabilir. Eşit uzunlukta Allow öncelikli olur.
• Joker karakterler: * herhangi bir karakter dizisi, satır sonundaki $ adresin bittiği yer demektir: Disallow: /*.pdf$ PDF dosyalarını kapatır.
• Dosya yoksa (HTTP 404) her şey taranabilir. Sunucu hata verirse (5xx) Google siteyi geçici olarak hiç taramaz.

robots.txt bir sayfayı Google'dan kaldırır mı?

Hayır. robots.txt yalnızca taramayı engeller; başka sitelerden bağlantı alan engelli bir sayfa, içeriği okunmadan "açıklama yok" şeklinde dizinde görünebilir. Bir sayfayı arama sonuçlarından çıkarmak için sayfayı taramaya açık bırakıp <meta name="robots" content="noindex"> ekleyin; bunu meta etiket testi ile doğrulayabilirsiniz.

Kuralların ayrıntısını, sık yapılan hataları ve WordPress/e-ticaret örneklerini robots.txt nasıl yazılır? rehberimizde bulabilirsiniz.

Örnek bir robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /sepet
Disallow: /*?s=

Sitemap: https://ornek.com/sitemap.xml