Optimierte robots.txt für WordPress – Leitfaden & Hilfe

Eine gut optimierte robots.txt-Datei kann entscheidend dazu beitragen, die Performance deiner WordPress-Website zu verbessern und die Serverlast zu reduzieren.

Was ist robots.txt

Eine robots.txt ist eine einfache Textdatei, die auf einer Website gespeichert wird und Suchmaschinen mitteilt, welche Seiten sie durchsuchen dürfen und welche nicht. Website-Betreiber nutzen die robots.txt, um bestimmte Bereiche ihrer Seite für Suchmaschinen unsichtbar zu machen, zum Beispiel private oder irrelevante Inhalte.

Die Datei liegt meist im Hauptverzeichnis der Website und enthält Anweisungen in Form von „Disallow“ (Sperre) und „Allow“ (Erlaubnis) für Suchmaschinen-Bots. Sie ist eine nützliche Methode, um die Sichtbarkeit von Inhalten zu steuern und die SEO-Performance der Website zu optimieren.

Indem du unnötige Inhalte von der Indizierung durch Suchmaschinen ausschließt, lenkst du deren Fokus auf die wirklich wichtigen Seiten und Inhalte. Insbesondere für WooCommerce-Shops ist eine durchdachte robots.txt-Datei hilfreich, um den Crawl-Budget effizient zu nutzen.

Warum eine optimierte robots.txt für WordPress?

Die robots.txt-Datei dient dazu, Suchmaschinen-Bots zu steuern und ihnen mitzuteilen, welche Seiten oder Verzeichnisse deiner Website sie durchsuchen sollen – oder eben nicht. Das ist besonders für große Webseiten mit vielen Unterseiten, wie zum Beispiel WooCommerce-Shops, relevant, weil diese viele irrelevante Seiten wie den Warenkorb oder die Kasse generieren.

Ziel einer optimierten robots.txt:

• Reduzierte Serverbelastung durch weniger ungenutzte Crawler-Anfragen.
• Verbessertes Crawl-Budget, sodass Suchmaschinen sich auf relevante Seiten konzentrieren.
• Verhindern von Duplicate Content (z. B. Filter- und Sortieroptionen in WooCommerce).

Beispiel einer optimierten robots.txt für WooCommerce

Hier ist ein Beispiel für eine optimierte robots.txt, die unnötige WooCommerce-Seiten sowie bestimmte Filter- und Sortierparameter blockiert. Diese Konfiguration ist ideal für Shops, die sicherstellen möchten, dass Suchmaschinen-Bots sich auf die Produktseiten und nicht auf den Warenkorb oder die Kasse konzentrieren.

Beispiel einer Robots.txt

# Block WooCommerce assets
User-agent: *
Disallow: /cart/
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /kasse/
Disallow: /my-account/
Disallow: /mein-konto/
Disallow: /*?orderby=price
Disallow: /*?orderby=rating
Disallow: /*?orderby=date
Disallow: /*?orderby=price-desc
Disallow: /*?orderby=popularity
Disallow: /*?filter
Disallow: /*add-to-cart=*
Disallow: /*?add_to_wishlist=*
Disallow: /?add-to-compare=*
Disallow: /*rating_filter=*
Disallow: /*?wg-choose-original=*

# Block Search assets
User-agent: *
Disallow: /search/
Disallow: *?s=*
Disallow: *?p=*
Disallow: *&p=*
Disallow: *&preview=*
Disallow: /search
Disallow: *?wmc-currency=*
Disallow: *?et-wishlist-page&add_to_wishlist=*
Disallow: *&botiga_buy_now=1

Erläuterungen zu den Einträgen

1. WooCommerce-spezifische Seiten blockieren: Seiten wie /cart/, /checkout/, /my-account/ sind nicht relevant für Suchmaschinen und sollten blockiert werden, da sie für Kunden bestimmt sind.
2. Sortier- und Filter-Parameter ausschließen: WooCommerce-Seiten, die durch Sortier- oder Filteroptionen wie orderby=price oder orderby=rating verändert werden, erzeugen oft duplicate Content und können das Crawl-Budget strapazieren.
3. Suchseiten und -parameter blockieren: Interne Suchseiten und URL-Parameter, die für spezifische Suchergebnisse oder Vorschauinhalte stehen, sollten ebenfalls ausgeschlossen werden. Sie bieten in der Regel keinen Mehrwert für Suchmaschinen und könnten sonst indexiert werden.
4. Währungs- und Wunschlisten-Parameter ausschließen: Seiten, die auf unterschiedliche Währungen oder Wunschlisten verweisen, sind ebenfalls für Suchmaschinen irrelevant und können unnötige Crawling-Ressourcen verbrauchen.

Tipps für die Umsetzung

• robots.txt in WordPress bearbeiten: Die robots.txt kann über den WordPress-Admin-Bereich oder durch ein SEO-Plugin wie Yoast oder Rank Math verwaltet werden. Alternativ kann sie direkt im Root-Verzeichnis deiner Website hochgeladen werden.
• Vorsicht bei Disallow-Anweisungen: Blockiere nur Seiten, die keinen Mehrwert für die Indexierung bieten. Übermäßiges Blockieren könnte relevante Inhalte verbergen.
• Überprüfen und Testen: Nutze das Google Search Console Tool, um zu testen, wie Suchmaschinen deine robots.txt interpretieren. Dies hilft, Fehler frühzeitig zu erkennen.

So testet man die Robots.txt

Möglichkeit 1: Nutze einen Tester, zB den von SERanking

Möglichkeit 2: Google nutzen

Sieht dann so aus:

• Google Search Console öffnen: Melde dich an und gehe zum robots.txt-Tester.
• Robots.txt-Datei laden: Der Tester zeigt dir die aktuelle robots.txt-Datei an.
• URL prüfen: Gib die URL ein, die du testen möchtest, und klicke auf „Testen“, um zu sehen, ob sie blockiert wird.
• Anpassungen testen: Ändere bei Bedarf die robots.txt und teste die Änderungen, bevor du sie live schaltest.

Fazit

Mit einer gut strukturierten robots.txt-Datei kannst du die SEO-Performance deiner WordPress-Website erheblich verbessern, indem du irrelevante Seiten blockierst und das Crawl-Budget optimierst. Eine solche Datei sollte regelmäßig überprüft und an neue Inhalte oder Seitenstrukturen angepasst werden, um maximale Effizienz zu gewährleisten.