Hallo,
ich bekam heute eine Warnung von den Webmastertools über den enormen Anstieg blockierter Seiten für Smartphones. Angezeigt werden mir dort über 500 Seiten deren URL-Anfang immer gleich ist:
widgets/index/refreshStatistic?requestPage=/
Hat das etwas mit einer Änderung im Update auf 5.4 zu tun? Ich habe selbst keine Änderungen vorgenommen?
LG
https://www.shopwaredemo.de/robots.txt
Die /widgets/-Routen sind bis auf /widgets/emotion alle in der robots.txt im Standard blockiert. Schau dir mal deine an, vielleicht hast du da was geändert.
In der txt steht bei mir folgendes:
User-agent: *
Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /address
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket
Disallow: /*.pdf$
Allow: /widgets/emotion
Sitemap: https://www.domain.de/sitemap.xml
Sitemap: https://www.domain.de/sitemapMobile.xml
Der Inhalt ist seit 2015 so. Mich wundert nur, dass da jetzt plötzlich Meldungen auflaufen.
Hallo,
Schau mal ob du Variationsartikel hast wo der Standardartikel ausverkauft ist.
wenn du dann Artikel bei Bestand <= 0 nicht bestellbar einen Haken drin hast
wird der Artikel nicht mehr angezeigt auch wenn andere Variationen noch am Lager sind.
Ist ein fieser Bug der sich da eingeschlichen hat.
Wäre schön wenn der bald behoben ist so fehlen bei mir fast 700 Artikel im Shop.
Das hat aber mit dem Widget-Call oben rein garnichts zu tun.
Habe ich nicht, wüsste aber auch nicht, wo da der Zusammenhang sein sollte
Eventuell hat das auch einfach mit dem Google Core-Update zu tun, das wurde vor ca. einer Woche released. Ich hab aber auch schon bemerkt, dass es Google auch teils egal ist, was in der robots.txt steht, er indexiert die Seiten trotzdem und sagt dir dann in den Webmaster Tools, dass da was falsch ist. Ein Schelm, wer böses dabei denkt…
Das ist richtig, ich bekomme seit zwei Wochen auch Mails von Google, dass etwas indexiert wurde, was lt. robots.txt nicht indexiert werden sollte. Das ist dann die checkout seite oder sowas. Mir also eigentlich egal. Aber fraglich, warum google indexiert und den Fehler selbst bemerkt, die Indexierung aber nicht löscht 
Dazu gibt es im Januar einen Report:
January 16 - February 22, 2018
Users may see decreased counts of pages with blocked resources. This is due to a processing error on our side. Page counts should return to their correct levels within a few weeks.
Was auch immer google unter “in ein paar Wochen” versteht: wahrscheinlich nie 
Und frag lieber nicht den google-Support: den gibt es nämlich nicht
Auf die Idee, einen Googlesupport zu fragen, müsste mich erst noch jemand bringen
… dass es Google auch teils egal ist, was in der robots.txt steht, er indexiert die Seiten trotzdem …
Das ist falsch. Eine robots.txt steuert das crawlen aber nie das indexieren oder nicht indexieren.
Wenn eine Datei nicht in den Index soll muss ein noindex in den Code oder man gibt das per.htaccess und x-Robots mit.
und wie setze ich das in der Praxis bei SW um?