Hallo,
mir werden im GMC sehr viele Seiten angezeigt , die nicht indexiert werden können. Die meisten stammen aus /widgets/index/xxx. Warum können diese Seiten nicht gecrawlt werden (kein Eintrag in robots.txt) und kann ich das ändern bzw. ist es überhaupt nötig, dass diese Seiten gecrawlt werden?
Widgets sind nachgeladene Seiten, unter anderem die Einkaufswelten, die wiederum auf anderen Seiten angezeigt werden.
Da diese dynamisch und nicht gecached werden, brauchen sie auch nicht gecrawlt werden.
Ah ok, danke für deine schnelle Antwort. Wäre es dann besser, wenn ich diese Seiten dann in den robots.txt schreibe? Dann würden die ja nicht mehr gecrawlt werden oder?