Das Bild kann aufgrund der Datei robots.txt nicht gecrawlt werden - Google Merchants

Shopware 6 (German)
1

Hallo,

seit dem Update von SW 6.5.8.7 auf 6.6.4 bekommen wir im Google Merchant Center die Meldung, dass die Produkte für Google-Shopping nicht mehr gelistet werden können, weil die Bilder aufgrund der Datei robots.txt nicht nicht gecrawlt werden.

Unsere Robots sieht so aus:

User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/

Woran kann das liegen bzw. kann es mit dem Update zusammenhängen oder ist unsere robots.txt falsch eingestellt?

2

Wie sieht bei dir eine Beispiel-Bild-URL aus?

3

Wenn ich in einer Beispiel-URL „Bild öffnen“ anklicke, dann öffnet sich das Bild.

Die URL-Struktur sieht so aus: www.meineseite.de/media/6e/91/96/1688371591/din933_iso4017_sm.jpg?ts=1719383669

4

vermute der Disallow: */? beißt sich jetzt mit dem …?ts=1719383669

Diese Variable gab es in 6.5 noch nicht, da war die Reine Bild-URL

Wie man das umgehen bzw. ändern ausser den Disallow zu entfernen kann ich Dir nicht sicher sagen.

Eventuell ?
allow: */?ts=

5

@stan_o das kann natürlich sehr gut sein, danke für die Info.

Ich habe den Disallow jetzt mal so gesetzt:
Disallow: /?

Damit dürfte meines Wissens das Fragezeichen nur unmittelbar nach Domain/ betroffen sein.

6

Sag bitte Bescheid wenn es funktioniert :smiley:
Ich hadere noch mit dem Update, da noch ein paar andere (für uns wichtige) Probleme

7

Das

Disallow: */?

auf jeden Fall stehen lassen.

Ich würde ein

Allow: */?ts=

explizit für den Medien-Bot von Google erlauben.

Hier findest du alles zum Thema robots.txt: Einführung und Leitfaden zu robots.txt-Dateien | Google Search Central  |  Dokumentation  |  Google for Developers

8

Danke, ich habe es jetzt mal so angepasst:

User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/

Allow: */?ts=

Ich weiß die Frage ist vielleicht etwas doof aber ich konnte auf den ersten Blick nichts finden weshalb das Sternchen vor dem / steht. Was genau sagt das Sternchen mit darauffolgendem /xyz eigentlich aus?

9

Es wäre ratsam, den User-Agent des Bots zu identifizieren und explizit dafür freizugeben. Andernfalls besteht das Risiko, dass verschiedene Bots ungewollt Seiten crawlen, die nicht für das Crawling vorgesehen sind.

10

Hast Du da eine Idee wie ich den identifizieren könnte?

11

Serverlogs oder es gibt bestimmt bei Google eine Liste aller Crawler und ihrem User-agent.

12

Konnte sie identifizieren:

user_agents
user_agents1030×148 13.1 KB

Ich habe das jetzt mal so gemacht:

User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/


User-agent: Googlebot
User-agent: Googlebot-Image
Allow: */?ts=

Ist das so korrekt?

13

Sieht eigentlich gut aus, so kannst du es auch selbst testen: Aktualisierte robots.txt-Datei bei Google einreichen | Google Search Central  |  Dokumentation  |  Google for Developers

14 
User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/


User-agent: Googlebot
User-agent: Googlebot-Image
Allow: */?ts=

Funktioniert

15

Kann mir jemand erklären warum dieses „?ts=456576576.“ überhaupt eingeführt wurde?

Kann dazu nichts finden.

16

Hallo,

ts = timestamp. Damit ermöglicht man unter anderem, dass ein aktualisiertes Bild auch irgendwann mal angezeigt wird und aufgrund von Cache(-Richtlinien) nicht ewig das alte.

Grüße

Sebastian