WordPress robots.txt Nedir? robots.txt Doğru Ayarları ve Örnekleri

Bir WordPress sitesinin arama motorları tarafından nasıl taranacağını kontrol etmenin temel yollarından biri robots.txt dosyasıdır. Robots.txt, arama motoru botlarına (Googlebot, Bingbot vb.) sitenizde hangi sayfaları tarayıp hangilerini taramaması gerektiğini “talimat” olarak veren basit bir metin dosyasıdır. Ancak burada kritik bir nokta vardır: robots.txt, bir güvenlik dosyası değildir; yani “engellediğiniz” bir URL yine de internette erişilebilir olabilir. Bu dosya daha çok tarama bütçesi (crawl budget) yönetimi ve arama motorlarına gereksiz sayfaları taratmama amacıyla kullanılır. Bu yazıda WordPress’te robots.txt’nin ne işe yaradığını, doğru kullanımını, sık yapılan hataları ve örnek robots.txt kurallarını anlatacağız.

1) Robots.txt Nedir ve Ne İşe Yarar?
Robots.txt, sitenizin kök dizininde bulunan (siteadresi.com/robots.txt) bir dosyadır. Arama motoru botları siteyi taramaya başlamadan önce genellikle bu dosyayı kontrol eder. Buradaki amaç:

• Gereksiz sayfaların taranmasını azaltmak,
• Botların site kaynaklarını verimli kullanmasını sağlamak,
• Bazı dizinleri veya parametreli URL’leri tarama dışı bırakmak,
• Site haritası (sitemap) adresini botlara bildirmek

olarak özetlenebilir.

2) Robots.txt WordPress’te Nerede Bulunur?
WordPress’te robots.txt iki şekilde olabilir:

• Fiziksel robots.txt dosyası: Hosting’in kök dizininde gerçek dosya olarak yer alır.
• Sanal (virtual) robots.txt: WordPress, fiziksel dosya yoksa otomatik bir robots.txt çıktısı oluşturabilir.

Fiziksel bir robots.txt oluşturduğunuzda, WordPress’in sanal çıktısı yerine sizin dosyanız kullanılır.

3) Robots.txt ile Neyi Engellemelisiniz? Neyi Engellememelisiniz?
Robots.txt’nin en yaygın doğru kullanımı, WordPress’in “gerekli ama ziyaretçiye açık olması gerekmeyen” sistem dizinlerini tarama dışı bırakmaktır. Örneğin:

• wp-admin
• wp-includes (bazı senaryolarda)
• Bazı arama, filtre, parametreli sayfalar

Ancak dikkat: Kritik içerik sayfalarını robots.txt ile engellemek SEO’ya ciddi zarar verebilir. Örneğin:

• Ürün sayfaları
• Kategori sayfaları
• Blog yazıları

gibi sayfalar yanlışlıkla engellenirse arama sonuçlarından kaybolabilirsiniz.

4) Robots.txt ile “Noindex” Aynı Şey Değildir
Yeni başlayanların en büyük yanılgısı şudur: “Robots ile engelledim, Google indexlemez.”
Gerçekte robots.txt, botun sayfayı taramasını engeller; ama sayfa farklı yerlerden link alıyorsa Google o URL’yi yine de dizine ekleyebilir (içeriği görmeden). Bu yüzden:

• Bir sayfanın indexlenmesini istemiyorsanız genellikle noindex meta etiketi veya HTTP header kullanılır.
• Robots.txt daha çok “tarama” kontrolü içindir.

5) WordPress İçin Örnek Robots.txt (Genel Amaçlı)
Aşağıdaki örnek, birçok WordPress sitesi için başlangıç düzeyinde kullanılabilir bir şablondur:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php

Bu yapı, wp-admin panelini taramadan çıkarırken WordPress’in bazı işlevleri için gerekli olan admin-ajax.php dosyasına izin verir. Bu, yaygın ve güvenli bir yaklaşımdır.

6) Site Haritası (Sitemap) Satırı Eklemek
Robots.txt içine site haritası eklemek iyi bir uygulamadır. Örnek:

• Sitemap: [https://siteadresi.com/sitemap.xml(https://siteadresi.com/sitemap.xml[/b)]

Sitemap adresi, kullandığınız SEO eklentisine göre değişebilir (bazen /sitemap_index.xml gibi). Doğru sitemap URL’sini site haritası sayfanızdan kontrol etmek gerekir.

7) WooCommerce Kullanan Siteler İçin Dikkat Edilecek Noktalar
E-ticaret sitelerinde bazı sayfalar tarama açısından gereksiz olabilir:

• Sepet (cart)
• Ödeme (checkout)
• Hesabım (my-account)

Bu sayfaların indexlenmesi genellikle istenmez. Ancak bunları robots.txt ile engellemek yerine çoğu zaman noindex kullanmak daha sağlıklı olur. Çünkü arama motorunun bu sayfalara erişip “noindex” görmesi gerekir; robots ile engellerseniz tarayamaz ve noindex’i göremez.

8) Sık Yapılan Robots.txt Hataları

• Tüm siteyi engellemek: “Disallow: /” satırı sitenin tamamını taramaya kapatır. Geliştirme aşamasında konulup unutulursa site aramalardan silinebilir.
• Yanlış dizin engellemek: /wp-content/ gibi bir klasörü tamamen engellemek, CSS/JS/görsel taramasını etkileyip SEO ve görünümü bozabilir.
• Sitemap satırını yanlış yazmak: Botlar site haritasını bulamaz.
• Robots ile gizlilik sağladığını sanmak: Robots güvenlik değildir; hassas URL’leri korumaz.

9) Robots.txt Ne Zaman Güncellenmeli?
Şu durumlarda robots.txt gözden geçirilmelidir:

• Yeni bir SEO eklentisi kurduysanız (sitemap adresi değişebilir)
• Site yapısı değiştiyse (kategori/etiket politikası)
• E-ticaret veya üyelik sistemi eklediyseniz
• Arama motoru tarama bütçesi sorunları yaşıyorsanız

Sonuç
Robots.txt, WordPress SEO’nun “teknik kontrol” tarafında küçük ama etkili bir parçadır. Doğru kullanıldığında arama motoru botlarının gereksiz sayfaları taramasını azaltır, site haritasını bildirir ve tarama kaynaklarını verimli kullanmanıza yardımcı olur. Yanlış kullanıldığında ise sitenizin görünürlüğünü ciddi şekilde düşürebilir. En güvenli yaklaşım; wp-admin gibi sistem alanlarını tarama dışı bırakmak, sitemap satırını eklemek ve kritik içerikleri asla robots ile engellememektir. Robottan beklenen “tarama yönetimi”dir; index yönetimi için ise noindex ve doğru SEO ayarları kullanılmalıdır.