Google WMT Meldung: Googlebot kann nicht auf ... zugreifen

Nur zu unserem Hintergrund: wir beschäftigen uns seit Jahren intensiv mit dem Thema SEO und legen großen Wert auf eine saubere Indexierung unserer Projekte. Dass ​/wi​dge​ts/​ind​ex/​ref​res​hSt​ati​sti​c?r​equ​est​Pag​e=/​&re​que​stC​ont​rol​ler​=in​dex​&ca​llb​ack​= für den Googlebot per robots.txt gesperrt sind ist korrekt und für Google keinerlei Problem. Google Fehlermeldungen, die sich nur auf dieses Verzeichnis beziehen (AJAX blockiert), kann man also getrost ignorieren. Was aber nicht blockiert sein darf, sind die Einkaufswelten im Verzeichnis /widgets/emotion/ Dies führt sonst wie weiter oben ausgeführt dazu, dass es quasi keinen sinnvollen Content auf der Startseite eures Shops gibt (=schlecht fürs Ranking bei Google). Testet das doch einfach mal selber mit euren Google Webmaster Tools unter „Crawling“ > „Abruf wie durch Google“ aus. Gebt eure Startseite an und klickt „ABRUFEN UND RENDERN“ und schaut euch dann an, was der Google Bot von eurer Startseite tatsächlich sieht --> so gut wie nix. Ein temporärer Workaround könnte doch sein, dass man anstatt komplett /widgets/ nur /widgets/index/ in der robots.txt blockiert. Damit sollten die Staistiken vom Google Bot nicht mehr aufgerufen werden, die Einkaufswelten aber korrekt gerendert werden. Meinungen?

2 „Gefällt mir“