Bei uns ist seit März 2016 die Anzahl der blockierten Seiten auf 501 gestiegen (mehr als indexiert sind).
Bemängelt werden:
/widgets/SwagBonusSystem/articlePoints
/widgets/SwagBonusSystem/haederPoints
/widgets/Captcha/refreshCaptcha?_=1234567890
/widgets/listing/productNavigation?ordernumber=XYZ&categoryId=1234
/widgets/index/refreshStatistic?requestPage=/kategorie/&requestController=listing&callback=jQuery211016598502290435135_1462492800022&_=1462492800023
/BibuShariffBackend?
In der robots.txt haben wir /widgets ausgeschlossen vom Crawling.
Ich ändere das heute mal auf /widgets/index.
Hoffe, das geht nicht nach hinten los.
Das perverse an Google und der robots.txt ist, dass Google die ausgeschlossenen Verzeichnisse trotzdem crawlt.
Wir hatten das auch mit /note, was ja eigentlich nicht gecrawlt werden soll.
Hat Google mal gar nicht interessiert und wir hatten Anfang März knapp 400 URLs im Index, mit dem Snippet:
„Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar.“
Erst crawlt Google ein Verzeichnis, das er nicht crawlen soll und wenn die URLs indexiert sind, kommt der genannte Hinweis.
Nutzt jemand das Shariff-Plugin?
Kann ich die Blockierung durch die robots.txt aus der robots.txt ruhig entfernen?