Google WMT Meldung: Googlebot kann nicht auf ... zugreifen

Hallo Sebastian, ich klinke mich mal in diese Diskussion ein, da die Blockierung des /widget/ Verzeichnisses schon ein größeres Problem für Google zu sein scheint. Dies ist wahrscheinlich den wenigsten bewusst. Wenn man über die Google Webmaster Tools die Startseite „wie durch Google abrufen“ lässt und die Seite auch gerendert wird, sieht man, dass bis auf Header und Footer nichts vom Google Bot gesehen wird. Dies liegt daran, dass die Startseiten-Einkaufswelten über das Verzeichnis /widgets/ aufgerufen werden, aber im Shopware 5 Standard per robots.txt vom Suchmaschinenzugriff von euch ausgeschlossen wurden. Dies führt im Ergebnis dazu, dass der Google Bot keinen sinnvollen Startseiten-Content zu Gesicht bekommt. Natürlich kann man nun wieder das /widgets/ Verzeichnis aus der Robots.txt entfernen, aber ihr werdet euch sicher etwas dabei gedacht haben. Was kann das Entfernen aus der robots.txt zur Folge haben? Ich würde mich über eine offizielle Shopware-Antwort sehr freuen. Vielen Dank! Niklas