# „ robots.txt “ Webseite kann nicht gecrawlt werden **URL:** \ **Category:** Shopware 6 (German)\ **Created:** [29. März 2026 um 08:24 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828 "2026-03-29T08:24:10Z")\ **Posts on this page:** 7\ **Page:** 1
**Author:** ![E-VS](https://avatars.discourse-cdn.com/v4/letter/e/3e96dc/32.png) [@E-VS](https://forum.shopware.com/u/E-VS)\ **Post date:** [29. März 2026 um 08:24 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/1 "2026-03-29T08:24:10Z")
Hallo Kann mir jemand sagen was ich da machen muß? Produktseiten können nicht geprüft werden Verhindert die Anzeige in Deutschland Google kann Ihre Produkt-Landingpage nicht crawlen. Automatisierte Qualitäts- und Richtlinienüberprüfungen sind nicht möglich. Ihre Website muss die folgenden Anforderungen erfüllen - Aktualisieren Sie die Datei „ `robots.txt` “ auf Ihrem Webserver, damit der Google-Crawler die angegebenen Produktseiten aufrufen kann - Achten Sie darauf, dass Ihre Datei „ `robots.txt` “ sowohl dem User-Agent „ `Googlebot` “ (für Landingpages) als auch dem User-Agent „ `Googlebot-image` “ (für Bilder) das vollständige Crawlen Ihrer Website erlaubt. Ich bin seit ein paar Wochen zu TmmeHosting gewechselt und seit dem ist das so. ---
**Author:** ![Kavkus](https://avatars.discourse-cdn.com/v4/letter/k/e19b73/32.png) [@Kavkus](https://forum.shopware.com/u/Kavkus)\ **Post date:** [29. März 2026 um 08:25 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/2 "2026-03-29T08:25:26Z")
Wie schaut den die Robots.txt aus? ---
**Author:** ![E-VS](https://avatars.discourse-cdn.com/v4/letter/e/3e96dc/32.png) [@E-VS](https://forum.shopware.com/u/E-VS)\ **Post date:** [29. März 2026 um 08:41 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/3 "2026-03-29T08:41:20Z")
Wo finde ich die Datei? ---
**Author:** ![E-VS](https://avatars.discourse-cdn.com/v4/letter/e/3e96dc/32.png) [@E-VS](https://forum.shopware.com/u/E-VS)\ **Post date:** [29. März 2026 um 08:54 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/4 "2026-03-29T08:54:40Z")
```auto User-agent: * Allow: / Disallow: /*? Allow: /*theme/ Allow: /media/*?ts= Disallow: /account/ Disallow: /checkout/ Disallow: /widgets/ Allow: /widgets/cms/ Allow: /widgets/menu/offcanvas Sitemap: https://www.meine Seite.de/sitemap.xml ``` ---
**Author:** ![raymond-de](https://avatars.discourse-cdn.com/v4/letter/r/7feea3/32.png) [@raymond-de](https://forum.shopware.com/u/raymond-de)\ **Post date:** [29. März 2026 um 09:16 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/5 "2026-03-29T09:16:47Z")
Unsere sieht so aus: User-agent: \* Allow: / Disallow: /account/ Disallow: /checkout/ Disallow: /widgets/ Disallow: /\_profiler/ Disallow: /bundles/ Sitemap: [https://www.website.de/sitemap.xml](https://www.website.de/sitemap.xml) Was soll hiermit bezweckt werden? Disallow: /\*? Allow: /_theme/ Allow: /media/_?ts= Würde ich rauswerfen. Wir sind auch bei TimmeHosting und haben mit den robots.txt wie oben kein Problem. Vielleicht hast du auch ein Berechtigungsproblem auf den Verzeichnissen oder genau auf diese Datei? Funktioniert sonst der Shop wunderbar? PS: der Titel des Threads ist sehr ungenau. Bitte sowas schreiben wie: „robots.txt: Webseite kann nicht gecrawlt werden“ ---
**Author:** ![E-VS](https://avatars.discourse-cdn.com/v4/letter/e/3e96dc/32.png) [@E-VS](https://forum.shopware.com/u/E-VS)\ **Post date:** [29. März 2026 um 09:33 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/6 "2026-03-29T09:33:20Z")
Ok vielen Dank habe es geändert. ---
**Author:** ![stan\_o](https://avatars.discourse-cdn.com/v4/letter/s/6de8d8/32.png) [@stan\_o](https://forum.shopware.com/u/stan_o)\ **Post date:** [31. März 2026 um 09:51 UTC](https://forum.shopware.com/t/robots-txt-webseite-kann-nicht-gecrawlt-werden/108828/7 "2026-03-31T09:51:20Z")
Wir hatten User-agent: Googlebot-Image Allow: \*/?ts= reingenommen, weil Google die Bilder nicht mehr crawlen konnte/durfte. Kam nach irgendeinen Update die Meldung. 6.4 auf 6.5 ? zu lange her edit ok hier wars. 6.5 auf 6.6 > [@Das Bild kann aufgrund der Datei robots.txt nicht gecrawlt werden - Google Merchants](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508): > > Hallo, seit dem Update von SW 6.5.8.7 auf 6.6.4 bekommen wir im Google Merchant Center die Meldung, dass die Produkte für Google-Shopping nicht mehr gelistet werden können, weil die Bilder aufgrund der Datei robots.txt nicht nicht gecrawlt werden. Unsere Robots sieht so aus: User-agent: \* Allow: / Disallow: \*/? Disallow: \*/account/ Disallow: \*/checkout/ Disallow: \*/widgets/ Disallow: \*/navigation/ Disallow: \*/bundles/ Woran kann das liegen bzw. kann es mit dem Update zusammenhängen oder ist …