„ robots.txt “ Webseite kann nicht gecrawlt werden

Shopware 6 (German)
1

Hallo

Kann mir jemand sagen was ich da machen muß?

Produktseiten können nicht geprüft werden

Verhindert die Anzeige in Deutschland

Google kann Ihre Produkt-Landingpage nicht crawlen. Automatisierte Qualitäts- und Richtlinienüberprüfungen sind nicht möglich.

Ihre Website muss die folgenden Anforderungen erfüllen

  • Aktualisieren Sie die Datei „ robots.txt “ auf Ihrem Webserver, damit der Google-Crawler die angegebenen Produktseiten aufrufen kann

  • Achten Sie darauf, dass Ihre Datei „ robots.txt “ sowohl dem User-Agent „ Googlebot “ (für Landingpages) als auch dem User-Agent „ Googlebot-image “ (für Bilder) das vollständige Crawlen Ihrer Website erlaubt.

Ich bin seit ein paar Wochen zu TmmeHosting gewechselt und seit dem ist das so.

2

Wie schaut den die Robots.txt aus?

3

Wo finde ich die Datei?

4 
User-agent: *

Allow: /

Disallow: /*?

Allow: /*theme/

Allow: /media/*?ts=

Disallow: /account/
Disallow: /checkout/
Disallow: /widgets/
Allow: /widgets/cms/
Allow: /widgets/menu/offcanvas

Sitemap: https://www.meine Seite.de/sitemap.xml
5

Unsere sieht so aus:

User-agent: *
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /widgets/
Disallow: /_profiler/
Disallow: /bundles/

Sitemap: https://www.website.de/sitemap.xml

Was soll hiermit bezweckt werden?
Disallow: /*?
Allow: /theme/
Allow: /media/?ts=

Würde ich rauswerfen.

Wir sind auch bei TimmeHosting und haben mit den robots.txt wie oben kein Problem.

Vielleicht hast du auch ein Berechtigungsproblem auf den Verzeichnissen oder genau auf diese Datei? Funktioniert sonst der Shop wunderbar?

PS: der Titel des Threads ist sehr ungenau. Bitte sowas schreiben wie: „robots.txt: Webseite kann nicht gecrawlt werden“

6

Ok vielen Dank habe es geändert.

7

Wir hatten

User-agent: Googlebot-Image
Allow: */?ts=

reingenommen, weil Google die Bilder nicht mehr crawlen konnte/durfte.

Kam nach irgendeinen Update die Meldung. 6.4 auf 6.5 ? zu lange her

edit ok hier wars. 6.5 auf 6.6