Der Googlebot ruft ja URLs mit widgets/index/ usw auf und indexiert sie.
Mit dem Update auf 5.5.8 soll sich da was ändern https://issues.shopware.com/issues/SW-23764
Wie kann ich das prüfen?
Macht es denn dann noch Sinn, in der robots.txt den Eintrag “Disallow: /widgets” zu belassen?
Wie kann ich das prüfen?
Ob die Seiten im Index sind oder was genau ist gemeint? Die Prüfung geht über eine einfache site-Abfrage in der Google-Suche. Einfach „site:www.domain.de/widgets“
Belässt du den Eintrag in der robots.txt, hat die Google Search Console in der Vergangenheit gemeckert, der Googlebot könne die Seite nicht komplett auslesen. In der neuen GSC habe ich es noch nicht getestet.
Mit der Frage " Wie kann ich das prüfen?" meinte ich, wie ich prüfen kann, ob die betroffenen Seiten ein noindex ausgeben.
Die „site-Abfrage“ kenne ich.
In der GSC haben wir unter „Abdeckung
> Durch robots.txt-Datei blockiert“ mehr als 3000 Einträge
> Indexiert, obwohl durch robots.txt-Datei blockiert
für …/widgets/index/refreshStatistic?..
und bevor ich den Eintrag aus der robots.txt entferne, würde ich gerne mal gesehen haben, das ein noindex ausgegeben wird.
Nun hab ich’s verstanden 
Ich nutze dafür die Chrome Erweiterung SeeRobots. Neben den normalen Meta-Tags zeigt es nach Klick auch an, ob ein x-robots-Tag gesetzt ist. Glaube browseo.net kann es auch. Habe gerade kein Praxisbeispiel mit einer URL hier, die es gesetzt hat. Aber die beiden Tools sollten es anzeigen.
Okay, danke - hab mal SeeRobots installiert.
Bekomme
index
follow
(Robots-Information nicht gesetzt)
X-Robots: noindex
angezeigt.
Dann sollte ich den Eintrag mal aus der robots.txt entfernen, weil es ja sonst keinen Sinn macht.
Oder hab ich was übersehen?
Jo, das sieht gut aus. Genau, rausnehmen aus der robots.txt, damit der Googlebot es auch sehen kann.