Hallo zusammen,
wir haben eine Testumgebung auf unserem Shop eingerichtet. Im Root-Verzeichnis befindet sich der Hauptshop, im Unterverzeichnis /dev die Testumgebung. Leider musste ich feststellen das unter site:meinshop.de/dev bereits einige URLs indexiert wurden, obwohl ich im Hauptshop die robots.txt erweitert habe “Disallow: /dev”. Auch wenn ich über die Webmaster Tools meinshop.de/dev/seite teste, wird dies als blockiert betitelt.
Der Wartungsmodus ist ebenfalls aktiv.
Was könnte ich noch dagegen unternehmen? Kann man im /dev eine weitere robots anlegen und sagen, dass der komplette Shop (dex) blockiert werden soll? Wenn ja, wie?