Robots.txt Nasıl Yapılandırılır
Robots.txt dosyanız, arama motoru tarayıcılarının sitenizin hangi kısımlarına erişebileceğini kontrol eder. Yanlış yapılandırılmış bir robots.txt, önemli sayfaların indekslenmesini engelleyebilir veya düşük değerli URL'lerde tarama bütçesini boşa harcayabilir. Bu kılavuz size nasıl doğru şekilde kurulacağını, test edileceğini ve SEO'ya zarar veren yaygın tuzaklardan nasıl kaçınılacağını öğretir.
Adım Adım Rehber
Robots.txt Temellerini Anlayın
Robots.txt, sitenizin kök dizininde (example.com/robots.txt) bulunan ve tarayıcılara yol gösteren direktifler kullanan düz bir metin dosyasıdır. İki ana direktif User-agent (kuralın hangi tarayıcıya uygulandığı) ve Disallow (hangi yolların engelleneceği) şeklindedir. Boş veya eksik bir robots.txt, tüm tarayıcıların her şeye erişebileceği anlamına gelir.
Nelerin Engelleneceğini Belirleyin
SEO değeri sağlamadan tarama bütçesini boşa harcayan URL'leri engelleyin: admin sayfaları, dahili arama sonuçları, giriş alanları, sepet ve ödeme sayfaları, yazıcı sürümleri ve çok sayıda parametre içeren filtre URL'leri. Arama motorlarının sayfalarınızı doğru şekilde oluşturması için ihtiyaç duyduğu CSS, JavaScript veya resim dosyalarını asla engellemeyin.
Robots.txt Kurallarınızı Yazın
Kuralları tüm tarayıcılara uygulamak için User-agent: * ile başlayın. Engellenecek yollar için Disallow, engellenen dizinler içinde istisnalar oluşturmak için Allow kullanın. Kuralların büyük/küçük harfe duyarlı olduğunu ve joker karakterler (*) ile URL sonu işaretleri ($) kullanılan yol eşleştirmelerini desteklediğini unutmayın.
Sitemap Referansınızı Ekleyin
XML sitemap dosyanıza işaret eden bir Sitemap direktifi ekleyin: Sitemap: https://example.com/sitemap.xml. Bu, arama motorlarının sitemap dosyanızı başka yollarla bulamamış olsalar bile keşfetmelerine yardımcı olur. Siteniz sitemap dizin dosyaları kullanıyorsa birden fazla sitemap listeleyebilirsiniz.
Yayınlamadan Önce Test Edin
Kurallarınızı canlıya almadan önce doğrulamak için Google Search Console'un Robots.txt Test Aracı'nı kullanın. Önemli sayfaların erişilebilir olduğunu ve engellenen sayfaların beklenen sonucu verdiğini onaylamak için belirli URL'leri test edin. Yanlış yerleştirilmiş tek bir kural, tüm sitenizi yanlışlıkla engelleyebilir.
Tarama Aktivitesini İzleyin
Yayınladıktan sonra, tarama modellerinin niyetinizle eşleştiğini doğrulamak için Google Search Console'daki Tarama İstatistikleri raporunu izleyin. Engellenen URL'lerin arama sonuçlarında görünmediğinden ve önemli sayfaların uygun sıklıkta tarandığından emin olun.
Profesyonel İpuçları
- Robots.txt taramayı engeller ancak indekslemeyi engellemez. Engellenen bir sayfanın harici backlink'leri varsa, Google URL'yi (sadece içerik olmadan) yine de indeksleyebilir. İndekslemeyi önlemek için noindex meta etiketlerini kullanın.
- Belirli dosya türlerini engellemek için $ dize sonu karakterini kullanın: Disallow: /*.pdf$ ifadesi, yolda '.pdf' içeren diğer URL'leri etkilemeden tüm PDF'leri engeller.
- Robots.txt dosyanızı basit tutun. Birçok istisnaya sahip karmaşık kuralların bakımı zordur ve bozulmaları kolaydır. Eğer robots.txt dosyanızın 20-30 satırı aştığını fark ederseniz, bunun yerine noindex etiketleri kullanmayı düşünün.
Kaçınılması Gereken Yaygın Hatalar
CSS ve JavaScript dosyalarını engellemek
Google'ın sayfalarınızı düzgün bir şekilde değerlendirebilmesi için onları oluşturması (render etmesi) gerekir. CSS veya JS dosyalarını engellemek, oluşturmayı engeller; bu da Google'ın sayfayı bozuk görmesi anlamına gelir. Sayfa oluşturma için gerekli olan kaynakları asla engellemeyin.
Hassas içeriği gizlemek için robots.txt kullanmak
Robots.txt herkese açıktır; herkes okuyabilir. Bunu yönetici panellerini veya özel dizinleri gizlemek için kullanmak, aslında onların varlığını duyurur. Gerçekten gizli içerikler için kimlik doğrulama ve noindex kullanın.
Yanlışlıkla tüm siteyi engellemek
'User-agent: *' altındaki tek bir 'Disallow: /' kuralı, her tarayıcıyı tüm sitenizden engeller. Bu, geliştirme veya taşıma sırasında gerçekleşebilir. Üretim ortamında yanlışlıkla hiçbir geniş kapsamlı kuralın aktif olmadığını her zaman iki kez kontrol edin.
Keyword Kick İşi Nasıl Kolaylaştırır?
- Popüler CMS platformları için ön ayarlı şablonlara sahip interaktif robots.txt oluşturucu
- Engellenen önemli kaynaklar dahil olmak üzere robots.txt sorunlarını işaretleyen site denetim kontrolleri
- Hangi sayfaların engellendiğini ve bunun kasıtlı olup olmadığını gösteren taranabilirlik analizi
Sıkça Sorulan Sorular
SEO için robots.txt gerekli midir?
Hayır, gerekli değildir. Robots.txt dosyası olmadan arama motorları bulabildikleri her şeyi tarar. Sadece belirli bölümleri tarayıcılardan engellemek istiyorsanız veya siteniz tarama bütçesini yönetmeniz gerekecek kadar büyükse bir dosyaya ihtiyacınız olur.
Robots.txt, sayfaların arama sonuçlarında görünmesini engeller mi?
Güvenilir bir şekilde değil. Robots.txt taramayı engeller, ancak Google ona işaret eden bağlantılar bulursa URL'yi yine de indeksleyebilir. İndekslenen sonuçta URL ve başlık görünür ancak açıklama görünmez. Arama sonuçlarında görünmeyi tamamen önlemek için noindex meta etiketi kullanın.
Arama motorları robots.txt dosyasını ne sıklıkla kontrol eder?
Google genellikle robots.txt dosyanızı 24 saate kadar önbelleğe alır. Değişiklikler hemen etkili olmayabilir. Google'ın dosyayı acilen yeniden getirmesini istiyorsanız, bir yenileme talep etmek için Search Console'daki Robots.txt Test Aracı'nı kullanabilirsiniz.
İlgili Rehberler
Bu stratejileri uygulamaya hazır mısınız? Keyword Kick, öğrendiğiniz her şeyi uygulamanız için ihtiyacınız olan araçları sunar.
Ücretsiz Başlayın