Bei einer Überprüfung wurde festgestellt, dass eine WooCommerce-Website eine hohe CPU-Auslastung verursacht, was auf häufige Zugriffe von Bots auf nicht zwischenspeicherbare Seiten mit dem Parameter ?add_to_wishlist= zurückzuführen ist. Diese Seiten werden von Bots wie Googlebot und Ahref indiziert, was die Website verlangsamt. Um dies zu verhindern, wird empfohlen, in der /robots.txt-Datei bestimmte Parameter festzulegen, die den Bots das Indizieren dieser Links verbieten. Unabhängig davon, ob die „add-to-cart“-Funktion über JavaScript oder direkt in HTML ausgeführt wird, ist das Deaktivieren der Indizierung solcher Parameter eine notwendige Maßnahme.
Optimierte robots.txt
#Block WooCommerce assets
User-agent: *
Disallow: /cart/
Disallow: /warenkorb/
Disallow: /checkout/
Disallow: /kasse/
Disallow: /my-account/
Disallow: /mein-konto/
Disallow: /*?orderby=price
Disallow: /*?orderby=rating
Disallow: /*?orderby=date
Disallow: /*?orderby=price-desc
Disallow: /*?orderby=popularity
Disallow: /*?filter
Disallow: /*add-to-cart=*
Disallow: /*?add_to_wishlist=*
#Block Search assets
User-agent: *
Disallow: /search/
Disallow: *?s=*
Disallow: *?p=*
Disallow: *&p=*
Disallow: *&preview=*
Disallow: /searchDie Crawler werden durch die festgelegten Parameter die „add-to-cart“-Links sowie andere nicht zwischenspeicherbare Seiten nicht mehr indizieren. Dies führt zu einer Einsparung von CPU, Arbeitsspeicher und Bandbreite.
Fazit
Bei Hosting-Anbietern, die ihre Preise nach CPU-Nutzung gestalten, würde diese Maßnahme die monatlichen Kosten erheblich senken. Auch im Rahmen eines traditionellen Webhostings führt dies zu einer spürbaren Reduzierung der CPU-Auslastung. Darüber hinaus ermöglichen diese Einstellungen in der robots.txt beim Einsatz von Ahrefs eine Einsparung wertvoller Crawling-Credits. Nicht zuletzt kommt auch die Gesamtbewertung durch die Google-Crawler zugute, da wertvolle Crawling-Limits geschont werden und der Google-Crawler sich auf wesentliche Inhalte konzentrieren kann.
Deutsch 
English