Was ist Robots.txt?
Eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche nicht gecrawlt werden sollen.
Verstehen Robots.txt
Die robots.txt-Datei verwendet das Robots Exclusion Protocol zur Kommunikation mit Web-Crawlern. Sie kann Regeln für alle Bots festlegen oder bestimmte Crawler ansprechen (wie Googlebot oder Bingbot) und enthält typischerweise einen Verweis auf Ihre XML-Sitemap. Wichtig zu verstehen: robots.txt verhindert das Crawlen, nicht die Indexierung. Wenn andere Websites auf eine durch robots.txt blockierte Seite verlinken, kann Google die URL dennoch basierend auf externen Signalen indexieren. Um die Indexierung zu verhindern, verwenden Sie stattdessen Noindex-Meta-Tags. Häufige Anwendungen umfassen das Blockieren von Admin-Bereichen, Pfaden mit doppelten Inhalten und ressourcenintensiven Bereichen, die Crawl-Budget verschwenden. Der kostenlose Robots.txt-Generator von Keyword Kick hilft Ihnen, korrekt formatierte Dateien mit Best-Practice-Konfigurationen zu erstellen.
Warum es wichtig ist
Eine falsch konfigurierte robots.txt kann versehentlich Suchmaschinen daran hindern, Ihre wichtigsten Seiten zu crawlen, oder Ihr Crawl-Budget verschwenden, indem der Zugriff auf weniger wertvolle Website-Bereiche erlaubt bleibt.
Wie Keyword Kick hilft
Keyword Kick bietet einen kostenlosen robots.txt-Generator, der korrekt formatierte Dateien nach Best Practices erstellt. Zudem überprüft unser Site-Audit Ihre bestehende robots.txt auf Fehler, Widersprüche und unbeabsichtigte Sperrungen.
Verwandte Begriffe
Crawl-Budget
Die Anzahl der Seiten, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt.
Noindex
Eine Anweisung, die Suchmaschinen mitteilt, eine bestimmte Seite nicht in ihren Suchergebnisindex aufzunehmen.
Sitemap
Eine XML-Datei, die alle wichtigen Seiten Ihrer Website auflistet und Suchmaschinen hilft, Ihre Inhalte zu entdecken und zu crawlen.
Häufig gestellte Fragen
Kann die robots.txt verhindern, dass eine Seite in den Suchergebnissen erscheint?
Nicht zuverlässig. Die robots.txt blockiert das Crawlen, aber wenn externe Links auf eine blockierte Seite verweisen, kann Google die URL dennoch basierend auf dem Ankertext dieser Links indexieren. Um eine Indexierung wirklich zu verhindern, verwenden Sie ein noindex-Meta-Tag und erlauben Sie das Crawlen, damit die Anweisung gelesen werden kann.
Respektieren alle Suchmaschinen die robots.txt?
Große Suchmaschinen wie Google, Bing und Yahoo respektieren die Anweisungen in der robots.txt. Bösartige Bots und Scraper ignorieren sie jedoch in der Regel. Die robots.txt ist ein auf Kooperation basierendes Protokoll, keine Sicherheitsmaßnahme – verwenden Sie sie niemals, um sensible Inhalte zu schützen.
Robots.txt meistern mit Keyword Kick
Erhalten Sie umsetzbare Erkenntnisse und automatisieren Sie Ihren SEO-Workflow.
Kostenlos starten