robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi bölümleri taramamaları gerektiğini söyleyen düz bir metin dosyasıdır. Birkaç satırdan ibarettir ama yanlış bir satır sitenizin tamamını Google'dan gizleyebilir. Bu yazıda dosyanın nasıl okunduğunu, en sık yapılan hataları ve kullanıma hazır örnekleri anlatıyoruz.

Kendi dosyanızı denetlemek için robots.txt testi aracını kullanabilirsiniz: bir sayfanın Googlebot ve Bingbot için açık olup olmadığını, hangi satır yüzünden olduğunu gösterir.

Dosya nerede olmalı?

Her zaman alan adının kökünde: https://ornek.com/robots.txt. Alt klasöre koyulan dosya (/blog/robots.txt) okunmaz. Her alt alan adının (magaza.ornek.com) kendi dosyası olmalıdır; http ve https sürümleri de ayrı sayılır.

Temel yapı

Dosya gruplardan oluşur. Her grup bir veya daha fazla User-agent satırıyla başlar, ardından o botlar için kurallar gelir:

User-agent: *
Disallow: /sepet
Disallow: /hesabim/
Allow: /hesabim/giris

Sitemap: https://ornek.com/sitemap.xml
  • User-agent: * tüm botlar demektir.
  • Disallow: /sepet → /sepet ile başlayan her adres kapalıdır (/sepet-onay dahil).
  • Allow daha geniş bir yasağın içinde istisna açar.
  • Sitemap satırı tam adres olmalıdır ve grupların dışında, herhangi bir yerde durabilir.

Kurallar nasıl değerlendirilir?

1. Bot kendi grubunu seçer (en çok atlanan nokta)

Googlebot önce adında "Googlebot" geçen bir grup arar. Bulursa yalnızca o grubu uygular; User-agent: * altındaki kurallar ona hiç uygulanmaz. Örneğin:

User-agent: *
Disallow: /yonetim/

User-agent: Googlebot
Disallow: /arama

Bu dosyada /yonetim/ Googlebot'a açıktır. Ortak kuralları Googlebot grubuna da yazmanız gerekir. Aracımız bu durumu "kendi grubu var" uyarısıyla gösterir.

2. En uzun eşleşme kazanır

Birden fazla kural aynı adrese uyuyorsa en uzun (en özel) olan geçerlidir. Disallow: /blog ve Allow: /blog/rehber varsa /blog/rehber/yazi taranabilir. Uzunluklar eşitse Allow kazanır.

3. Joker karakterler

  • herhangi bir karakter dizisi: Disallow: /?siralama= sıralama parametreli tüm adresleri kapatır.
  • $ adresin sonu: Disallow: /*.pdf$ yalnızca .pdf ile biten adresleri kapatır.

En sık yapılan hatalar

  1. Canlıda unutulan Disallow: /: Geliştirme ortamında siteyi gizlemek için eklenir, yayına alınırken kalır. Site birkaç hafta içinde aramadan düşer. Yayın kontrol listenizin ilk maddesi olsun.
  2. robots.txt ile sayfayı Google'dan kaldırmaya çalışmak: robots.txt yalnızca taramayı engeller. Başka sitelerden bağlantı alan engelli bir sayfa, içeriği okunmadan "açıklama yok" şeklinde dizinde kalabilir. Bir sayfayı aramadan çıkarmak için sayfayı taramaya açık bırakıp <meta name="robots" content="noindex"> ekleyin.
  3. CSS ve JavaScript dosyalarını kapatmak: Google sayfayı bir tarayıcı gibi çizer. Stil ve betik dosyaları kapalıysa sayfanızı bozuk görür ve mobil uyumsuz sayabilir.
  4. robots.txt içine noindex yazmak: Google 2019'dan beri bu satırı yok sayar.
  5. Yazım hataları: Dissallow, User agent (tiresiz) gibi satırlar sessizce yok sayılır; kural hiç yokmuş gibi davranılır.
  6. Tek sayfa uygulamalarında HTML dönen robots.txt: Bazı sunucular bilinmeyen her adrese ana sayfayı döndürür. Botlar bu HTML'i geçersiz dosya sayar; gerçek bir robots.txt dosyası sunun.

Dosya yoksa ya da hata veriyorsa

  • 404 (dosya yok): Sorun değildir; botlar her şeyi tarayabilir. Yine de site haritanızı bildirmek için kısa bir dosya eklemek iyi bir alışkanlıktır.
  • 5xx (sunucu hatası): Google bu durumda siteyi geçici olarak hiç taramaz. Uzun süren hata, sayfalarınızın dizinden düşmesine yol açabilir.

Hazır örnekler

WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://ornek.com/sitemap_index.xml

E-ticaret (sepet, hesap ve filtre sayfaları kapalı):

User-agent: *
Disallow: /sepet
Disallow: /odeme
Disallow: /hesabim
Disallow: /*?filtre=
Disallow: /*&siralama=

Sitemap: https://ornek.com/sitemap.xml

Her şeye açık, yalnızca site haritası:

User-agent: *
Disallow:

Sitemap: https://ornek.com/sitemap.xml

Trafik takas ile ilişkisi

Sörf ekranındaki ziyaretçiler robots.txt'den etkilenmez; dosya yalnızca botlar içindir. Ama takasla tanıttığınız sitenin aramada da bulunabilmesi, ziyaretçilerin sizi daha sonra Google'da tekrar bulabilmesi demektir. Sitenizin genel durumunu tek seferde görmek için site karnesi aracını deneyin.

robots.txt dosyanızı şimdi test edin