# Das Bild kann aufgrund der Datei robots.txt nicht gecrawlt werden - Google Merchants **URL:** \ **Category:** Shopware 6 (German)\ **Created:** [10. Juli 2024 um 06:26 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508 "2024-07-10T06:26:43Z")\ **Posts on this page:** 16\ **Page:** 1
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [10. Juli 2024 um 06:26 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/1 "2024-07-10T06:26:43Z")
Hallo, seit dem Update von SW 6.5.8.7 auf 6.6.4 bekommen wir im Google Merchant Center die Meldung, dass die Produkte für Google-Shopping nicht mehr gelistet werden können, weil die Bilder aufgrund der Datei robots.txt nicht nicht gecrawlt werden. Unsere Robots sieht so aus: ```auto User-agent: * Allow: / Disallow: */? Disallow: */account/ Disallow: */checkout/ Disallow: */widgets/ Disallow: */navigation/ Disallow: */bundles/ ``` Woran kann das liegen bzw. kann es mit dem Update zusammenhängen oder ist unsere robots.txt falsch eingestellt? ---
**Author:** ![MBDealer](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/mbdealer/32/27217_2.png) [@MBDealer](https://forum.shopware.com/u/MBDealer)\ **Post date:** [10. Juli 2024 um 08:06 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/2 "2024-07-10T08:06:38Z")
Wie sieht bei dir eine Beispiel-Bild-URL aus? ---
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [10. Juli 2024 um 08:18 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/3 "2024-07-10T08:18:06Z")
Wenn ich in einer Beispiel-URL „Bild öffnen“ anklicke, dann öffnet sich das Bild. Die URL-Struktur sieht so aus: `www.meineseite.de/media/6e/91/96/1688371591/din933_iso4017_sm.jpg?ts=1719383669` ---
**Author:** ![stan\_o](https://avatars.discourse-cdn.com/v4/letter/s/6de8d8/32.png) [@stan\_o](https://forum.shopware.com/u/stan_o)\ **Post date:** [10. Juli 2024 um 08:27 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/4 "2024-07-10T08:27:56Z")
vermute der Disallow: \*/? beißt sich jetzt mit dem …?ts=1719383669 Diese Variable gab es in 6.5 noch nicht, da war die Reine Bild-URL Wie man das umgehen bzw. ändern ausser den Disallow zu entfernen kann ich Dir nicht sicher sagen. Eventuell ? allow: \*/?ts= ---
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [10. Juli 2024 um 08:42 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/5 "2024-07-10T08:42:44Z")
@stan_o das kann natürlich sehr gut sein, danke für die Info. Ich habe den Disallow jetzt mal so gesetzt: `Disallow: /?` Damit dürfte meines Wissens das Fragezeichen nur unmittelbar nach Domain/ betroffen sein. ---
**Author:** ![stan\_o](https://avatars.discourse-cdn.com/v4/letter/s/6de8d8/32.png) [@stan\_o](https://forum.shopware.com/u/stan_o)\ **Post date:** [10. Juli 2024 um 08:46 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/6 "2024-07-10T08:46:50Z")
Sag bitte Bescheid wenn es funktioniert 😃 Ich hadere noch mit dem Update, da noch ein paar andere (für uns wichtige) Probleme ---
**Author:** ![MBDealer](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/mbdealer/32/27217_2.png) [@MBDealer](https://forum.shopware.com/u/MBDealer)\ **Post date:** [10. Juli 2024 um 09:04 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/7 "2024-07-10T09:04:41Z")
Das ```auto Disallow: */? ``` auf jeden Fall stehen lassen. Ich würde ein ```auto Allow: */?ts= ``` explizit für den Medien-Bot von Google erlauben. Hier findest du alles zum Thema robots.txt: [Einführung und Leitfaden zu robots.txt-Dateien | Google Search Central  |  Dokumentation  |  Google for Developers](https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=de) ---
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [10. Juli 2024 um 09:54 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/8 "2024-07-10T09:54:55Z")
Danke, ich habe es jetzt mal so angepasst: ```auto User-agent: * Allow: / Disallow: */? Disallow: */account/ Disallow: */checkout/ Disallow: */widgets/ Disallow: */navigation/ Disallow: */bundles/ Allow: */?ts= ``` Ich weiß die Frage ist vielleicht etwas doof aber ich konnte auf den ersten Blick nichts finden weshalb das Sternchen vor dem / steht. Was genau sagt das Sternchen mit darauffolgendem /xyz eigentlich aus? ---
**Author:** ![MBDealer](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/mbdealer/32/27217_2.png) [@MBDealer](https://forum.shopware.com/u/MBDealer)\ **Post date:** [10. Juli 2024 um 10:08 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/9 "2024-07-10T10:08:27Z")
Es wäre ratsam, den User-Agent des Bots zu identifizieren und explizit dafür freizugeben. Andernfalls besteht das Risiko, dass verschiedene Bots ungewollt Seiten crawlen, die nicht für das Crawling vorgesehen sind. ---
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [10. Juli 2024 um 10:41 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/10 "2024-07-10T10:41:00Z")
Hast Du da eine Idee wie ich den identifizieren könnte? ---
**Author:** ![MBDealer](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/mbdealer/32/27217_2.png) [@MBDealer](https://forum.shopware.com/u/MBDealer)\ **Post date:** [10. Juli 2024 um 10:57 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/11 "2024-07-10T10:57:20Z")
Serverlogs oder es gibt bestimmt bei Google eine Liste aller Crawler und ihrem User-agent. ---
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [10. Juli 2024 um 11:03 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/12 "2024-07-10T11:03:04Z")
Konnte sie identifizieren: ![user_agents](https://europe1.discourse-cdn.com/flex013/uploads/shopware/original/3X/e/9/e912a28822dd09827f25585425a6834a9fa121ab.png) Ich habe das jetzt mal so gemacht: ```auto User-agent: * Allow: / Disallow: */? Disallow: */account/ Disallow: */checkout/ Disallow: */widgets/ Disallow: */navigation/ Disallow: */bundles/ User-agent: Googlebot User-agent: Googlebot-Image Allow: */?ts= ``` Ist das so korrekt? ---
**Author:** ![MBDealer](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/mbdealer/32/27217_2.png) [@MBDealer](https://forum.shopware.com/u/MBDealer)\ **Post date:** [10. Juli 2024 um 11:28 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/13 "2024-07-10T11:28:52Z")
Sieht eigentlich gut aus, so kannst du es auch selbst testen: [Aktualisierte robots.txt-Datei bei Google einreichen | Google Search Central  |  Dokumentation  |  Google for Developers](https://developers.google.com/search/docs/crawling-indexing/robots/submit-updated-robots-txt?hl=de) ---
**Author:** ![Dennis\_S](https://avatars.discourse-cdn.com/v4/letter/d/5daacb/32.png) [@Dennis\_S](https://forum.shopware.com/u/Dennis_S)\ **Post date:** [19. Juli 2024 um 10:02 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/14 "2024-07-19T10:02:33Z")
```auto User-agent: * Allow: / Disallow: */? Disallow: */account/ Disallow: */checkout/ Disallow: */widgets/ Disallow: */navigation/ Disallow: */bundles/ User-agent: Googlebot User-agent: Googlebot-Image Allow: */?ts= ``` Funktioniert ---
**Author:** ![cbm](https://avatars.discourse-cdn.com/v4/letter/c/a9a28c/32.png) [@cbm](https://forum.shopware.com/u/cbm)\ **Post date:** [28. Mai 2026 um 12:41 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/15 "2026-05-28T12:41:32Z")
Kann mir jemand erklären warum dieses „?ts=456576576.“ überhaupt eingeführt wurde? Kann dazu nichts finden. ---
**Author:** ![sschreier](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/sschreier/32/23296_2.png) [@sschreier](https://forum.shopware.com/u/sschreier)\ **Post date:** [29. Mai 2026 um 07:33 UTC](https://forum.shopware.com/t/das-bild-kann-aufgrund-der-datei-robots-txt-nicht-gecrawlt-werden-google-merchants/104508/16 "2026-05-29T07:33:27Z")
Hallo, ts = timestamp. Damit ermöglicht man unter anderem, dass ein aktualisiertes Bild auch irgendwann mal angezeigt wird und aufgrund von Cache(-Richtlinien) nicht ewig das alte. Grüße Sebastian