Eine gut optimierte robots.txt
-Datei kann entscheidend dazu beitragen, die Performance deiner WordPress-Website zu verbessern und die Serverlast zu reduzieren.
Eine robots.txt ist eine einfache Textdatei, die auf einer Website gespeichert wird und Suchmaschinen mitteilt, welche Seiten sie durchsuchen dürfen und welche nicht. Website-Betreiber nutzen die robots.txt, um bestimmte Bereiche ihrer Seite für Suchmaschinen unsichtbar zu machen, zum Beispiel private oder irrelevante Inhalte.
Die Datei liegt meist im Hauptverzeichnis der Website und enthält Anweisungen in Form von „Disallow“ (Sperre) und „Allow“ (Erlaubnis) für Suchmaschinen-Bots. Sie ist eine nützliche Methode, um die Sichtbarkeit von Inhalten zu steuern und die SEO-Performance der Website zu optimieren.
Indem du unnötige Inhalte von der Indizierung durch Suchmaschinen ausschließt, lenkst du deren Fokus auf die wirklich wichtigen Seiten und Inhalte. Insbesondere für WooCommerce-Shops ist eine durchdachte robots.txt
-Datei hilfreich, um den Crawl-Budget effizient zu nutzen.
Die robots.txt
-Datei dient dazu, Suchmaschinen-Bots zu steuern und ihnen mitzuteilen, welche Seiten oder Verzeichnisse deiner Website sie durchsuchen sollen – oder eben nicht. Das ist besonders für große Webseiten mit vielen Unterseiten, wie zum Beispiel WooCommerce-Shops, relevant, weil diese viele irrelevante Seiten wie den Warenkorb oder die Kasse generieren.
Ziel einer optimierten robots.txt
:
Hier ist ein Beispiel für eine optimierte robots.txt
, die unnötige WooCommerce-Seiten sowie bestimmte Filter- und Sortierparameter blockiert. Diese Konfiguration ist ideal für Shops, die sicherstellen möchten, dass Suchmaschinen-Bots sich auf die Produktseiten und nicht auf den Warenkorb oder die Kasse konzentrieren.
# Block WooCommerce assets User-agent: * Disallow: /cart/ Disallow: /warenkorb/ Disallow: /checkout/ Disallow: /kasse/ Disallow: /my-account/ Disallow: /mein-konto/ Disallow: /*?orderby=price Disallow: /*?orderby=rating Disallow: /*?orderby=date Disallow: /*?orderby=price-desc Disallow: /*?orderby=popularity Disallow: /*?filter Disallow: /*add-to-cart=* Disallow: /*?add_to_wishlist=* Disallow: /?add-to-compare=* Disallow: /*rating_filter=* Disallow: /*?wg-choose-original=* # Block Search assets User-agent: * Disallow: /search/ Disallow: *?s=* Disallow: *?p=* Disallow: *&p=* Disallow: *&preview=* Disallow: /search Disallow: *?wmc-currency=* Disallow: *?et-wishlist-page&add_to_wishlist=* Disallow: *&botiga_buy_now=1
/cart/
, /checkout/
, /my-account/
sind nicht relevant für Suchmaschinen und sollten blockiert werden, da sie für Kunden bestimmt sind.orderby=price
oder orderby=rating
verändert werden, erzeugen oft duplicate Content und können das Crawl-Budget strapazieren.robots.txt
kann über den WordPress-Admin-Bereich oder durch ein SEO-Plugin wie Yoast oder Rank Math verwaltet werden. Alternativ kann sie direkt im Root-Verzeichnis deiner Website hochgeladen werden.robots.txt
interpretieren. Dies hilft, Fehler frühzeitig zu erkennen.Möglichkeit 1: Nutze einen Tester, zB den von SERanking
Möglichkeit 2: Google nutzen
Sieht dann so aus:
Mit einer gut strukturierten robots.txt
-Datei kannst du die SEO-Performance deiner WordPress-Website erheblich verbessern, indem du irrelevante Seiten blockierst und das Crawl-Budget optimierst. Eine solche Datei sollte regelmäßig überprüft und an neue Inhalte oder Seitenstrukturen angepasst werden, um maximale Effizienz zu gewährleisten.