Wir haben heute eine E-Mail von Google erhalten, dass der Googlebot nicht auf …/widgets/… zugreifen kann: [quote]Der Googlebot kann aufgrund von Beschränkungen in Ihrer robots.txt-Datei nicht auf Ihre JavaScript- und/oder CSS-Dateien zugreifen. Anhand dieser Dateien kann Google feststellen, ob Ihre Website ordnungsgemäß funktioniert. Wenn Sie den Zugriff auf diese Dateien blockieren, kann dies zu schlechteren Rankings führen. [/quote] In der robots.txt habe ich Disallow: /*widgets/ eingetragen und das schon seit vielen Monaten, weil es immer wieder zu Fehlermeldungen kam bzw. wenn man den kompletten Link aufruft, eine weiße Seite angezeigt wird. Wie geht ihr damit um? Die Androhung von schlechterem Ranking ist natürlich mal wieder erschreckend. Die monierte URL in den WMTs: https:// … /widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=dfd42c9c65ef176465ba8e2af720d345d8b0b1af&callback=jQuery191016598502290435135_1438098032388&_=1438098032389
Hi Frank, das ist seit längerer Zeit auch Standard. Also die Aufrufe mit /widgets/ sollen auch blockiert bzw. nicht indiziert werden. Scheinbar hatte Google aber bisher Zugriff drauf. Grundsätzlich also richtig und gut, dass Google darauf keinen Zugriff hat Im Standardtemplate sieht das wie folgt aus: https://github.com/shopware/shopware/bl … /index.tpl Beispiel: User-agent: \* Disallow: /compare Disallow: /checkout Disallow: /register Disallow: /account Disallow: /note Disallow: /widgets Disallow: /listing Disallow: /ticket Sitemap: http://www.shop.de/sitemap.xml Sitemap: http://www.shop.de/sitemapMobile.xml Sebastian
Hallo Sebastian, nein, der Googlebot hatte bisher keinen Zugriff, da ich den Eintrag schon seit vielen Monaten in der robots.txt habe. Es erscheinen aber immer mal wieder Aufrufe in den Server-Logfiles, z.B. auch vom Adsbot von Google. Das ist diesmal die erste Meldung in der Art, die wir von google erhalten. Ich will den da ja auch nicht crawlen lassen, weil wie geschrieben, weiße Seiten aufgehen. Nur was mach ich, wenn das jetzt tatsächlich negative Auswirkungen auf’s Ranking hat?
Ich muss hier mal ein bischen nerven. Das muss doch auch andere SW-User betreffen. Per robots.txt ist das Verzeichnis /widget vom crawlen ausgeschlossen. Beim Rendern der Seite wird aber eine Fehlermeldung angezeigt, dass der Googlebot aufgrund von Beschränkungen in der robots.txt nicht auf die JavaScript- und/oder CSS-Dateien zugreifen. Goolge schickt scheinbar gerade Benachrichtigungen raus: http://seo.at/blockierte-javascript-und … webmaster/ und droht mit schlechteren Rankings. Wie umgeht man das jetzt?
Hmm, scheint niemanden zu interessieren, was mit seinen Rankings passiert? Die Suche bei Google nach /widgets/index/refreshStatistic ergibt mehr als 5000 Treffer und es sind wahrscheinlich alles Shopwareshops. Welche Funktion steckt eigentlich hinter diesem /widgets/index/refreshStatistic ? Hat das mit den shopeigenen Statistiken zu tun?
Hallo, das ist die Shopware eigene Statistik. Damit werden z.B. Seitenaufrufe und Besucher in Shopware getrackt. Die URL gibt es nur, wenn die Shopware Statistik aktiv ist. Hat auf Darstellung oder Funktion im frontend aber keine Auswirkungen. Die URL soll und darf von Google auch nicht gecrawlt werden. Ich kann mir nicht vorstellen, dass das irgendwelche Auswirkungen auf das Ranking haben soll. Da ist ja auch kein Content hinter. Hat einer verlässliche Quellen parat? Google etc.? Es muss da ja mehr detaillierte Infos zu geben, sollte das ein Problem werden. Dann sollte dazu am besten auch direkt ein Ticket im Issue Tracker erstellt werden. Sebastian PS: in der Console meiner Seiten gab es dazu bisher keinerlei Meldungen oder Fehler
Hallo Sebastian, wir haben auch erst jetzt die Meldung von Google erhalten. Gecrawlt wurden die Links schon früher - trotz Eintrag in der robots.txt - wie bereits geschrieben. Verlässliche Quellen? Hab ich doch geschrieben, das wir eine E-Mail erhalten haben und die entsprechende Meldung in den WMT. Ich schreibe das hier ja nich aus Langerweile, sondern weil es ein Problem zu werden scheint. Was bisher kein Problem war, muss ja nicht immer kein Problem bleiben. In den WMT kann man unter Crawling > Abruf wie durch Google testen: „Abrufen und Rendern“ auswählen. Es kommt dann unter Status „teilweise“ und der entsprechend Link wird angezeigt wie oben erwähnt. Die Statistiken zu deaktivieren wäre unschön.
Hi, ich meinte damit auch eher, gibt es da noch weitere Quelle / Informationen im Netz. Evtl. eine genaue Seite von Google, wo im Detail auf das Verhalten eingegangen wird und was Google zur Lösung vorschlägt. Ich habe bisher nur diverse verschiedene Aussagen finden können, aber noch keine Seite seitens Google, da ich bisher auch keine solche eMail bekommen habe. Das Google ggf. dieses hier moniert https:// ... /widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=dfd42c sehe ich ja aktuell noch nicht als Problem. Google soll das nicht lesen. Das beinhaltet ja nichts an Infos für Google und hat auch keinen Einfluss auf Inhalt oder Darstellung der Seite. Aktuell wüsste ich jetzt nicht, was man dort überhaupt anpassen kann oder evtl. sollte. Mir geht es ja nur darum, dass man, wenn es ein Problem sein sollte, dieses allgemein behben kann. Bisher haben meine Recherchen leider nicht viel an Infos ergeben Sebastian Nachtrag: Du kannst ansonsten ja probemlos das /widgets aus der robots.txt entfernen. Ansonsten blocken wir ja eigentlich nix Kritisches, wo ich ein Problem seitens des Crawlers erwarten würde. Habe gerade noch einmal nachgesehen und Widgets sind auch für Slider in Ekw oder halt Statistiken. Das ist auch noch nichts so lange in der robots.txt Denke, dass wird dann die Probleme lösen, wenn du widgets dort wieder entfernst.
Hier mal die komplette Meldung von Google: [quote] Die Google-Systeme haben kürzlich ein Problem mit Ihrer Startseite festgestellt, das sich auf das Rendern und Indexieren Ihrer Inhalte durch unsere Algorithmen auswirkt. Der Googlebot kann aufgrund von Beschränkungen in Ihrer robots.txt-Datei nicht auf Ihre JavaScript- und/oder CSS-Dateien zugreifen. Anhand dieser Dateien kann Google feststellen, ob Ihre Website ordnungsgemäß funktioniert. Wenn Sie den Zugriff auf diese Dateien blockieren, kann dies zu schlechteren Rankings führen. Sie können dieses Problem wie folgt beheben: 1 Blockierte Ressourcen identifizieren Identifizieren Sie mithilfe der Funktion „Abruf wie durch Google“ diejenigen Ressourcen, die von den robots.txt-Anweisungen blockiert werden. „Abruf wie durch Google“ ausführen 2 robots.txt-Datei aktualisieren Entfernen Sie die Beschränkungen bezüglich Ihrer CSS- und JavaScript-Dateien aus Ihren robots.txt-Anweisungen und testen Sie die Änderungen mit dem robots.txt-Tester. Aktualisieren Sie anschließend Ihre überarbeitete robots.txt-Datei auf Ihrer Website und senden Sie sie an die Search Console. robots.txt testen 3 Korrektur mithilfe von „Abruf wie durch Google“ prüfen Aktivieren Sie vor dem Abrufen und Rendern Ihrer Seite die Option „Mobile: Smartphone“. So können Sie überprüfen, ob der Googlebot für Smartphones Ihre Inhalte korrekt rendert. „Abruf wie durch Google“ ausführen Sie haben Fragen zur Problembehebung? Weitere Informationen • Anleitung zum Testen Ihrer robots.txt-Datei in unserer Hilfe • Google-Leitfaden zur Erstellung einer für Mobilgeräte optimierten Website • In unseren robots.txt-Spezifikationenerfahren Sie, wie Sie steuern können, welcher Crawler auf welche Dateien zugreifen kann. • Sie können die Indexierung Ihrer Seiten in Google verhindern, indem Sie Robot-Meta-Tags oder X-Robots-Tag-HTTP-Header verwenden. • Stellen Sie Fragen in unserem Forum, wenn Sie weitere Hilfe benötigen. Geben Sie hierbei den Nachrichtentyp [WNC-658001] an. [/quote] Die betroffene URL lautet [quote]… /widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=1ab0dc25bdad393b9baf6fb85d6fe21d2a25afc0&callback=jQuery191016598502290435135_1438101347623&_=1438101347624[/quote] Klickt man den Link an, wird eine weiße Seite angezeigt. Da sich die Session-ID beim Testen ändert, habe ich die Befürchtung, dass wir Tausende von neuen Seiten haben werden, die alle leer sind, wenn ich den Eintrag aus der robots.txt entferne. Habe das Gefühl, wir drehen uns im Kreis.
Hallo Sebastian, ich klinke mich mal in diese Diskussion ein, da die Blockierung des /widget/ Verzeichnisses schon ein größeres Problem für Google zu sein scheint. Dies ist wahrscheinlich den wenigsten bewusst. Wenn man über die Google Webmaster Tools die Startseite „wie durch Google abrufen“ lässt und die Seite auch gerendert wird, sieht man, dass bis auf Header und Footer nichts vom Google Bot gesehen wird. Dies liegt daran, dass die Startseiten-Einkaufswelten über das Verzeichnis /widgets/ aufgerufen werden, aber im Shopware 5 Standard per robots.txt vom Suchmaschinenzugriff von euch ausgeschlossen wurden. Dies führt im Ergebnis dazu, dass der Google Bot keinen sinnvollen Startseiten-Content zu Gesicht bekommt. Natürlich kann man nun wieder das /widgets/ Verzeichnis aus der Robots.txt entfernen, aber ihr werdet euch sicher etwas dabei gedacht haben. Was kann das Entfernen aus der robots.txt zur Folge haben? Ich würde mich über eine offizielle Shopware-Antwort sehr freuen. Vielen Dank! Niklas
Hi, leg mal bitte ein Ticket unter jira.shopware.de dazu an. Dann schauen wir, ob wir das noch mit in die 5.0.3 final packen. Der RC ist ja verfügbar, aber noch nicht die finale Version Sebastian
Hallo, dies scheint aber ein allgemeines Problem zu sein denn in einem alten XTc-Shop tritt das Problem ab dem gleichen Zeitraum wie bei Shopware auf, als wenn Goggle was geändert hat. Die Meldungen sind bei mir im WMT seit dem 28.07. und ich nutze zur Zeit noch Shopware 4.3.2 Das einzige was ich zu dem Thema gefunden habe ist hier: https://productforums.google.com/forum/ … JS-Dateien
Na, endlich mal jemand, der sich damit beschäftigt. Ich wundere mich schon, dass sich keiner der anderen Shopbetreiber damit auseinandersetzt. Wir werden die Meldung jedenfalls nicht los. Kontakt zu Google ist nicht möglich und im Google-Forum gibt es nur beschwichtigigende Wischi-Waschi-Aussagen von Leuten, die keine Google-Mitarbeiter sind. Wie sich das mit den Einkaufswelten verhält, weiß ich nicht. Ich bin bisher davon ausgegangen, dass es an der shopinternen Statistik liegt. Deaktiviert man die, ist der entsprechende Code im Quelltext weg. Aber die Statistiken zu deaktivieren kann keine Lösung sein. Wenn Du den Eintrag aus der robots.txt entfernst, kann Google die oben genannten Links aufrufen, erhält mit jedem Aufruf eine neue Session und somit hunderte (oder tausende, oder noch mehr) von leeren, neuen Seiten.
Nur zu unserem Hintergrund: wir beschäftigen uns seit Jahren intensiv mit dem Thema SEO und legen großen Wert auf eine saubere Indexierung unserer Projekte. Dass /widgets/index/refreshStatistic?requestPage=/&requestController=index&callback= für den Googlebot per robots.txt gesperrt sind ist korrekt und für Google keinerlei Problem. Google Fehlermeldungen, die sich nur auf dieses Verzeichnis beziehen (AJAX blockiert), kann man also getrost ignorieren. Was aber nicht blockiert sein darf, sind die Einkaufswelten im Verzeichnis /widgets/emotion/ Dies führt sonst wie weiter oben ausgeführt dazu, dass es quasi keinen sinnvollen Content auf der Startseite eures Shops gibt (=schlecht fürs Ranking bei Google). Testet das doch einfach mal selber mit euren Google Webmaster Tools unter „Crawling“ > „Abruf wie durch Google“ aus. Gebt eure Startseite an und klickt „ABRUFEN UND RENDERN“ und schaut euch dann an, was der Google Bot von eurer Startseite tatsächlich sieht --> so gut wie nix. Ein temporärer Workaround könnte doch sein, dass man anstatt komplett /widgets/ nur /widgets/index/ in der robots.txt blockiert. Damit sollten die Staistiken vom Google Bot nicht mehr aufgerufen werden, die Einkaufswelten aber korrekt gerendert werden. Meinungen?
Hallo, ich habe das Testweise mit zweien meiner Shops gemacht. Shopware 5.0.3 RC und Standard robots.txt etc. - keinerlei Änderungen. WMT mit Abruf durch Google als Desktop und Rendern: Alles in Ordnung Da kann ich keinerlei Problem erkennen aktuell Sebastian
Hallo Sebastian, danke fürs Testen. D.h. du hast dir in den Webmaster Tools beide Screenshots angesehen, also links die Seite wie der Google Bot sue sieht und rechts, wie sie ein menschlicher Besucher sieht. Und beide Screenshots sehen gleich und korrekt aus? D.h. im linken Screenshot ist auch die Startseiteneinkaufswelt zu sehen? Würde mich interessieren, wie es bei anderen aussieht. Kann mir kaum vorstellen, dass dies nur bei uns auftritt? Schöne Grüße,
Korrekt. Da war so kein Unterschied zu sehen
[quote=“NiklasW”]Hallo Sebastian, danke fürs Testen. D.h. du hast dir in den Webmaster Tools beide Screenshots angesehen, also links die Seite wie der Google Bot sue sieht und rechts, wie sie ein menschlicher Besucher sieht. Und beide Screenshots sehen gleich und korrekt aus? D.h. im linken Screenshot ist auch die Startseiteneinkaufswelt zu sehen? Würde mich interessieren, wie es bei anderen aussieht. Kann mir kaum vorstellen, dass dies nur bei uns auftritt? Schöne Grüße,[/quote] Also bei mir ist nur die reine Start-Seite zu sehen ohne jeden Style und Skripte, da diese blockiert sind, aber die Bilder und die Texte der Einkaufswelt ist zu sehen. Ist das nun gut oder schlecht? Getestet mit Shopware 4.3.2 --------------------------------------------------------------------------------- Mit meinem Testshop mit Shopware 5 sieht es dagegen super aus, beide Ansichten sind gleich. D.h. das das Problem nur mit Shopware 4 auftritt.
[quote=„NiklasW“] /widgets/index/refreshStatistic?requestPage=/&requestController=index&callback= für den Googlebot per robots.txt gesperrt sind ist korrekt und für Google keinerlei Problem. Google Fehlermeldungen, die sich nur auf dieses Verzeichnis beziehen (AJAX blockiert), kann man also getrost ignorieren. [/quote] Ich will Deine Kompetenz in puncto SuMa-Optimierung nicht angreifen, aber solange ich von Google keine Bestätigung habe, dass das keine Auswirkungen auf das Ranking hat, bleibe ich skeptisch. [quote=„NiklasW“] Ein temporärer Workaround könnte doch sein, dass man anstatt komplett /widgets/ nur /widgets/index/ in der robots.txt blockiert. Damit sollten die Staistiken vom Google Bot nicht mehr aufgerufen werden, die Einkaufswelten aber korrekt gerendert werden. Meinungen?[/quote] Die Seiten werden korrekt dargestellt nach dem Rendern, kein Unterschied zwischen linkem und rechtem Fenster egal ob /widgets/index/ oder nur /widget/ in der robots.txt steht. Nur woher weiß denn der Google-Crawler, dass das so ist, wie beschrieben. Der vermutet, dass die Seite nicht korrekt angezeigt wird, weil er ja keinen Zugriff darauf hat. Dem Google-Bot ist es egal, ob das in der robots.txt steht, er und der Google-Ads-Bot crawlen trotzdem. Aktuell sind wir mit der PE 4 unterwegs und ich kann keine anderen Fehlermeldungen seitens Google als die oben beschriebene feststellen, trotz einer Einkaufswelt auf der Startseite.
Hallo! Wir haben bei einem Kunden Shopware 5.0.2 im Einsatz und genau das gleiche Problem wie “simplybecause”. Wir haben nun im eigenen Theme die Struktur “frontend/robots_txt/index.tpl” angelegt und wie folgt gefüllt: {extends file='parent:frontend/robots\_txt/index.tpl'} {block name="frontend\_robots\_txt\_disallows" append} Allow: /widgets/emotion/ {/block} Nun wird die Einkaufswelt auch im Googlebot-Vergleich angezeigt.