Hallo, kann mir jemand sagen, ob das Verzeichnis meinshop.de/media standardmäßig vor dem Indexieren durch Suchmaschinen-Bots geschützt ist ? Falls nein, wie genau kann ich das im Conexco Responsive Templat bewerkstellingen (Ort der robots.txt-Vorlage) ? Vielen Dank & beste Grüße, Tom
Hallo, die robots.txt befindet sich Standardmäßig in „_default/frontent/robots_txt/index.tpl“ Beim Responsive dürfte auch diese Datei genommen werden, ansonsten müsste im Templateordner der gleiche Pfad sein. um ein Verzeichniss über die Robots zu schützen folgendes eingeben: Disallow: /backend Disallow: /media Du kannst auch sagen, dass nur für den Crawler z. B. Googlebot das Verzeichniss gesperrt sein soll. User-agend: Googlebot Dissallow: /media PS: Bedenke, dass Crawler nicht immer auf die robots.txt hören.
Hallo, vielen Dank - alles gefunden. Wie sieht es den mit Unterverzeichnissen aus ? Wenn ich also nur /media/presse aber nicht /media insgesamt ausschließen möchte. Wäre dann die /media/presse Angabe korrekt ? Danke!
Hallo zusammen, erst einmal Danke, dass ich hier das korrekte Format und den Pfad für das disallow gefunden habe. Gibt es Nachteile wenn man /backend auf disallow setzt? Ich verstehe ansonsten nicht warum das nicht standardmäßig eingestellt ist. Gruß Henrik