Google WMT Meldung: Googlebot kann nicht auf ... zugreifen

[quote]Ein temporärer Workaround könnte doch sein, dass man anstatt komplett /widgets/ nur /widgets/index/ in der robots.txt blockiert.[/quote] Der Workaround bringt bei uns ebenfalls etwas. Wenn der komplette /widgets/ Pfad in der robots.txt ausgeschlossen wird, verschwinden zwei unserer Artikel-Slider von der Startseite. Es handelt sich zum einen um Neuheiten und zum anderen um Top-Seller, also Content, der auf jeden Fall gecrawlt werden soll. Google braucht den Zugriff auf /widgets/emotion/ um die Slider laden zu können.