Hallo,
wie kann man Shopseiten auf noindex und nofollow stellen?
Bitte nicht die Info per robots sperren, sondern möchte es vernünftig per noindex und nofollow.
Bei Shopware 5 kann man das in Seo-Einstellungen bewerkstelligen ( jedenfalls noindex ), aber nicht bei Shopware 6.
Wie kann man also die .htaccess ändern? Oder in welcher Dateil muss man das irgendwie ändern?
Vielen Dank für den Link! Aber @Murmeltier , daraus werde ich als Laie nicht schlau.
Muss die htaccess mit einem Code ergänzt werden? Also die .htaccess unter der Datei pub? Und wenn ja, wo und mit was füllen? 
Kannst Du so etwas?
Ja, die .htaccess Datei muss von Dir erweitert werden! Und wenn Du so etwas angehst, dann kontrolliere das Verhalten danach auch immer gleich, denn wenn Du da nur einen klitzekleinen Fehler machts, kann es ein, das die Seite nicht mehr funktioniert. Aber Du kannst es ja einfach mal ausprobieren und falls Du dann einen Error 500 bekommst, nimmst Du es eben einfach wieder raus und voila, die Seite geht wieder.
Im übrigen: Google hält sich seit dem 01. September 2019 nicht mehr an folgende drei Einträge in der robots.txt:
noindex
nofollow
crawl-delay
Wenn Du also z.B nur alle PDF Dateien vom Indexieren auschließen willst, dann sollte das z.B so funktionieren:
#######################################
# Exlude all PDF's from the SearchIndex
#######################################
Header set X-Robots-Tag "noindex, nofollow"
Wenn Du alle Bilder (z.B.: jpg, png und gif) auschließen willst, dann eben so:
##################################################
# Exlude some Image FileTypes from the SearchIndex
##################################################
Header set X-Robots-Tag "noindex, nofollow"
Du kannst aber auch kombinieren:
#########################################################################
# Exlude all PDF, docx, xlsx, PNG, jpg and GIF Files from the SearchIndex
#########################################################################
Header set X-Robots-Tag "noindex, nofollow"
Dies sollte dann alle PDF, docx, xlsx, png, jpg und gif Datreien vor dem Index bewahren. Wichtig ist dabei, das die Formate durch eine Pipe (|) getrennt sind
Bei Shopseite funktioniert das jedoch etwas anders. Willst Du alle auschließen oder nur ein paar?
Die komplette Seite könntest Du z.B. mit diesem Befehl vom Index auschließen:
#############################################
# Prevent the whole site from the SearchIndex
#############################################
Header set X-Robots-Tag "noindex, nofollow"
Und einen gewisse Pfad könntest Du evtl so auschließen:
Header set X-Robots-Tag "noindex, nofollow"
Dies verhindert beispielsweise den Zugriff auf einen URL-Pfad, der mit /MyFolder beginnt, also z.B http://yoursite.com/MyFolder
Es verhindert nicht den Zugriff sondern nur die Indexierung! Jede Suchmaschine wird weiterhin prüfen ob das noindex noch besteht.
Der Vortei der .htaccess ist halt das sie nicht öffentlich ist.
Schreibt man ein Disallow: /geheim in die robots.txt ist da nichts geheim für jeden der die Datei aufruft.
Es verhindert nicht den Zugriff sondern nur die Indexierung!
So war’s ja aber auch nicht gemeint… 
Ja, die .htaccess Datei muss von Dir erweitert werden! Und wenn Du so etwas angehst, dann kontrolliere das Verhalten danach auch immer gleich, denn wenn Du da nur einen klitzekleinen Fehler machts, kann es ein, das die Seite nicht mehr funktioniert. Aber Du kannst es ja einfach mal ausprobieren und falls Du dann einen Error 500 bekommst, nimmst Du es eben einfach wieder raus und voila, die Seite geht wieder.
Im übrigen: Google hält sich seit dem 01. September 2019 nicht mehr an folgende drei Einträge in der robots.txt:
noindex
nofollow
crawl-delayWenn Du also z.B nur alle PDF Dateien vom Indexieren auschließen willst, dann sollte das z.B so funktionieren:
#######################################
Exlude all PDF’s from the SearchIndex
#######################################
Header set X-Robots-Tag „noindex, nofollow“
Wenn Du alle Bilder (z.B.: jpg, png und gif) auschließen willst, dann eben so:
##################################################
Exlude some Image FileTypes from the SearchIndex
##################################################
Header set X-Robots-Tag „noindex, nofollow“
Du kannst aber auch kombinieren:
#########################################################################
Exlude all PDF, docx, xlsx, PNG, jpg and GIF Files from the SearchIndex
#########################################################################
Header set X-Robots-Tag „noindex, nofollow“
Dies sollte dann alle PDF, docx, xlsx, png, jpg und gif Datreien vor dem Index bewahren. Wichtig ist dabei, das die Formate durch eine Pipe (|) getrennt sind
Bei Shopseite funktioniert das jedoch etwas anders. Willst Du alle auschließen oder nur ein paar?
Die komplette Seite könntest Du z.B. mit diesem Befehl vom Index auschließen:
#############################################
Prevent the whole site from the SearchIndex
#############################################
Header set X-Robots-Tag „noindex, nofollow“Und einen gewisse Pfad könntest Du evtl so auschließen:
Header set X-Robots-Tag „noindex, nofollow“
Dies verhindert beispielsweise den Zugriff auf einen URL-Pfad, der mit /MyFolder beginnt, also z.B http://yoursite.com/MyFolder
@Murmeltier Vielen Dank für die Informationen. Demnach könnte ich meine „Kontakt“-Seite über diesen Eintrag in die .htaccess von der Indizierung ausschließen?
Header set X-Robots-Tag "noindex, nofollow"
Hallo,
hat das jemand mit nginx Server zum Laufen bekommen bzw. gibt es dazu Neuigkeiten? Weder das oben in die .htaccess Datei noch
location ~ .*/(?:Seite1|Seite2)/.* {
add_header X-Robots-Tag „noindex, follow“;
}
in die .conf funktionieren bei mir. Was mache ich hier falsch? 
Gruß