AGB, Datenschutz, Kontaktformular, etc. vor Suchmaschinen sperren

Alle Shopseiten werden nicht indexiert und wenn sie bereits indexiert sind, verschwinden sie nach ein paar Wochen.
Deshalb sollten sie nicht in die robots.txt eingetragen werden, damit sie nach wie vor noch gecrawlt werden können.

Du solltest dann aber die Shopseiten auch aus der Sitemap auschliessen, denn sonst meckert Google in der Search Console.
Fragen dazu beantwortet die Forensuche.
 

1 „Gefällt mir“