Teknik SEO

Robots.txt Nasıl Yapılandırılır

9 dk okuma

Robots.txt dosyanız, arama motoru tarayıcılarının sitenizin hangi kısımlarına erişebileceğini kontrol eder. Yanlış yapılandırılmış bir robots.txt, önemli sayfaların indekslenmesini engelleyebilir veya düşük değerli URL'lerde tarama bütçesini boşa harcayabilir. Bu kılavuz size nasıl doğru şekilde kurulacağını, test edileceğini ve SEO'ya zarar veren yaygın tuzaklardan nasıl kaçınılacağını öğretir.

learn.sections.stepByStep

Understand Robots.txt Basics

Robots.txt is a plain text file at your site's root (example.com/robots.txt) that uses directives to guide crawlers. The two main directives are User-agent (which crawler the rule applies to) and Disallow (which paths to block). An empty or missing robots.txt means all crawlers can access everything.

Identify What to Block

Block URLs that waste crawl budget without providing SEO value: admin pages, internal search results, login areas, cart and checkout pages, print versions, and parameter-heavy filter URLs. Never block CSS, JavaScript, or image files that search engines need to render your pages correctly.

Write Your Robots.txt Rules

Start with User-agent: * to apply rules to all crawlers. Use Disallow for paths to block and Allow to create exceptions within blocked directories. Remember that rules are case-sensitive and use path matching with wildcards (*) and end-of-URL markers ($).

Add Your Sitemap Reference

Include a Sitemap directive pointing to your XML sitemap: Sitemap: https://example.com/sitemap.xml. This helps search engines discover your sitemap even if they haven't found it through other means. You can list multiple sitemaps if your site uses sitemap index files.

Test Before Deploying

Use Google Search Console's Robots.txt Tester to verify your rules before going live. Test specific URLs to confirm important pages are accessible and blocked pages return the expected result. A single misplaced rule can accidentally block your entire site.

Monitor Crawl Activity

After deploying, monitor the Crawl Stats report in Google Search Console to verify that crawl patterns match your intentions. Check that blocked URLs aren't appearing in search results and that important pages are being crawled at appropriate frequencies.

Robots.txt Temellerini Anlayın

Robots.txt, sitenizin kök dizininde (example.com/robots.txt) bulunan ve tarayıcılara yol gösteren direktifler kullanan düz bir metin dosyasıdır. İki ana direktif User-agent (kuralın hangi tarayıcıya uygulandığı) ve Disallow (hangi yolların engelleneceği) şeklindedir. Boş veya eksik bir robots.txt, tüm tarayıcıların her şeye erişebileceği anlamına gelir.

Nelerin Engelleneceğini Belirleyin

SEO değeri sağlamadan tarama bütçesini boşa harcayan URL'leri engelleyin: admin sayfaları, dahili arama sonuçları, giriş alanları, sepet ve ödeme sayfaları, yazıcı sürümleri ve çok sayıda parametre içeren filtre URL'leri. Arama motorlarının sayfalarınızı doğru şekilde oluşturması için ihtiyaç duyduğu CSS, JavaScript veya resim dosyalarını asla engellemeyin.

Robots.txt Kurallarınızı Yazın

Kuralları tüm tarayıcılara uygulamak için User-agent: * ile başlayın. Engellenecek yollar için Disallow, engellenen dizinler içinde istisnalar oluşturmak için Allow kullanın. Kuralların büyük/küçük harfe duyarlı olduğunu ve joker karakterler (*) ile URL sonu işaretleri ($) kullanılan yol eşleştirmelerini desteklediğini unutmayın.

Sitemap Referansınızı Ekleyin

XML sitemap dosyanıza işaret eden bir Sitemap direktifi ekleyin: Sitemap: https://example.com/sitemap.xml. Bu, arama motorlarının sitemap dosyanızı başka yollarla bulamamış olsalar bile keşfetmelerine yardımcı olur. Siteniz sitemap dizin dosyaları kullanıyorsa birden fazla sitemap listeleyebilirsiniz.

Yayınlamadan Önce Test Edin

Kurallarınızı canlıya almadan önce doğrulamak için Google Search Console'un Robots.txt Test Aracı'nı kullanın. Önemli sayfaların erişilebilir olduğunu ve engellenen sayfaların beklenen sonucu verdiğini onaylamak için belirli URL'leri test edin. Yanlış yerleştirilmiş tek bir kural, tüm sitenizi yanlışlıkla engelleyebilir.

Tarama Aktivitesini İzleyin

Yayınladıktan sonra, tarama modellerinin niyetinizle eşleştiğini doğrulamak için Google Search Console'daki Tarama İstatistikleri raporunu izleyin. Engellenen URL'lerin arama sonuçlarında görünmediğinden ve önemli sayfaların uygun sıklıkta tarandığından emin olun.

Profesyonel İpuçları

Robots.txt blocks crawling but not indexing. If a blocked page has external backlinks, Google may still index the URL (just without content). Use noindex meta tags to prevent indexing.
Use the $ end-of-string character to block specific file types: Disallow: /*.pdf$ blocks all PDFs without affecting other URLs containing '.pdf' in the path.
Keep your robots.txt simple. Complex rules with many exceptions are hard to maintain and easy to break. If you find your robots.txt growing beyond 20-30 lines, consider using noindex tags instead.
Robots.txt taramayı engeller ancak indekslemeyi engellemez. Engellenen bir sayfanın harici backlink'leri varsa, Google URL'yi (sadece içerik olmadan) yine de indeksleyebilir. İndekslemeyi önlemek için noindex meta etiketlerini kullanın.
Belirli dosya türlerini engellemek için $ dize sonu karakterini kullanın: Disallow: /*.pdf$ ifadesi, yolda '.pdf' içeren diğer URL'leri etkilemeden tüm PDF'leri engeller.
Robots.txt dosyanızı basit tutun. Birçok istisnaya sahip karmaşık kuralların bakımı zordur ve bozulmaları kolaydır. Eğer robots.txt dosyanızın 20-30 satırı aştığını fark ederseniz, bunun yerine noindex etiketleri kullanmayı düşünün.

Kaçınılması Gereken Yaygın Hatalar

Blocking CSS and JavaScript files

Google needs to render your pages to evaluate them properly. Blocking CSS or JS files prevents rendering, which means Google sees a broken page. Never block resources needed for page rendering.

Using robots.txt to hide sensitive content

Robots.txt is publicly accessible -- anyone can read it. Using it to hide admin panels or private directories actually advertises their existence. Use authentication and noindex for truly private content.

Accidentally blocking the entire site

A single 'Disallow: /' under 'User-agent: *' blocks every crawler from your entire site. This can happen during development or migration. Always double-check that no broad rules are accidentally active on production.

CSS ve JavaScript dosyalarını engellemek

Google'ın sayfalarınızı düzgün bir şekilde değerlendirebilmesi için onları oluşturması (render etmesi) gerekir. CSS veya JS dosyalarını engellemek, oluşturmayı engeller; bu da Google'ın sayfayı bozuk görmesi anlamına gelir. Sayfa oluşturma için gerekli olan kaynakları asla engellemeyin.

Hassas içeriği gizlemek için robots.txt kullanmak

Robots.txt herkese açıktır; herkes okuyabilir. Bunu yönetici panellerini veya özel dizinleri gizlemek için kullanmak, aslında onların varlığını duyurur. Gerçekten gizli içerikler için kimlik doğrulama ve noindex kullanın.

Yanlışlıkla tüm siteyi engellemek

'User-agent: *' altındaki tek bir 'Disallow: /' kuralı, her tarayıcıyı tüm sitenizden engeller. Bu, geliştirme veya taşıma sırasında gerçekleşebilir. Üretim ortamında yanlışlıkla hiçbir geniş kapsamlı kuralın aktif olmadığını her zaman iki kez kontrol edin.

Keyword Kick İşi Nasıl Kolaylaştırır?

Interactive robots.txt generator with preset templates for common CMS platforms
Site audit checks that flag robots.txt issues including blocked important resources
Crawlability analysis showing which pages are blocked and whether that's intentional
Popüler CMS platformları için ön ayarlı şablonlara sahip interaktif robots.txt oluşturucu
Engellenen önemli kaynaklar dahil olmak üzere robots.txt sorunlarını işaretleyen site denetim kontrolleri
Hangi sayfaların engellendiğini ve bunun kasıtlı olup olmadığını gösteren taranabilirlik analizi

learn.sections.faq

Is robots.txt required for SEO?

No, it's not required. Without a robots.txt file, search engines will crawl everything they can find. You only need one if you want to block specific sections from crawlers or if your site is large enough that you need to manage crawl budget.

Does robots.txt prevent pages from appearing in search results?

Not reliably. Robots.txt prevents crawling, but Google may still index the URL if it finds links pointing to it. The indexed result will show the URL and title but no description. Use a noindex meta tag to fully prevent search appearance.

How often do search engines check robots.txt?

Google typically caches your robots.txt for up to 24 hours. Changes may not take effect immediately. If you need Google to re-fetch it urgently, you can use the Robots.txt Tester in Search Console to request a refresh.

SEO için robots.txt gerekli midir?

Hayır, gerekli değildir. Robots.txt dosyası olmadan arama motorları bulabildikleri her şeyi tarar. Sadece belirli bölümleri tarayıcılardan engellemek istiyorsanız veya siteniz tarama bütçesini yönetmeniz gerekecek kadar büyükse bir dosyaya ihtiyacınız olur.

Robots.txt, sayfaların arama sonuçlarında görünmesini engeller mi?

Güvenilir bir şekilde değil. Robots.txt taramayı engeller, ancak Google ona işaret eden bağlantılar bulursa URL'yi yine de indeksleyebilir. İndekslenen sonuçta URL ve başlık görünür ancak açıklama görünmez. Arama sonuçlarında görünmeyi tamamen önlemek için noindex meta etiketi kullanın.

Arama motorları robots.txt dosyasını ne sıklıkla kontrol eder?

Google genellikle robots.txt dosyanızı 24 saate kadar önbelleğe alır. Değişiklikler hemen etkili olmayabilir. Google'ın dosyayı acilen yeniden getirmesini istiyorsanız, bir yenileme talep etmek için Search Console'daki Robots.txt Test Aracı'nı kullanabilirsiniz.

learn.cta.button