simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012 edited November 2015
Wir haben heute eine E-Mail von Google erhalten, dass der Googlebot nicht auf .../widgets/... zugreifen kann:
Der Googlebot kann aufgrund von Beschränkungen in Ihrer robots.txt-Datei nicht auf Ihre JavaScript- und/oder CSS-Dateien zugreifen. Anhand dieser Dateien kann Google feststellen, ob Ihre Website ordnungsgemäß funktioniert. Wenn Sie den Zugriff auf diese Dateien blockieren, kann dies zu schlechteren Rankings führen.
In der robots.txt habe ich
Disallow: /*widgets/
eingetragen und das schon seit vielen Monaten, weil es immer wieder zu Fehlermeldungen kam bzw. wenn man den kompletten Link aufruft, eine weiße Seite angezeigt wird.
Wie geht ihr damit um? Die Androhung von schlechterem Ranking ist natürlich mal wieder erschreckend.

Die monierte URL in den WMTs:
https:// ... /widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=dfd42c9c65ef176465ba8e2af720d345d8b0b1af&callback=jQuery191016598502290435135_1438098032388&_=1438098032389
«1

Comments

  • SebastianKlöpperSebastianKlöpper AdministratorsComments: 7196 Received thanks: 1675 Member since: June 2010
    Hi Frank,

    das ist seit längerer Zeit auch Standard.
    Also die Aufrufe mit /widgets/ sollen auch blockiert bzw. nicht indiziert werden.

    Scheinbar hatte Google aber bisher Zugriff drauf.

    Grundsätzlich also richtig und gut, dass Google darauf keinen Zugriff hat

    Im Standardtemplate sieht das wie folgt aus:
    https://github.com/shopware/shopware/bl ... /index.tpl

    Beispiel:
    User-agent: *
    
    Disallow: /compare
    Disallow: /checkout
    Disallow: /register
    Disallow: /account
    Disallow: /note
    Disallow: /widgets
    Disallow: /listing
    Disallow: /ticket
    
    Sitemap: http://www.shop.de/sitemap.xml
    Sitemap: http://www.shop.de/sitemapMobile.xml
    
    Sebastian
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    Hallo Sebastian,

    nein, der Googlebot hatte bisher keinen Zugriff, da ich den Eintrag schon seit vielen Monaten in der robots.txt habe.
    Es erscheinen aber immer mal wieder Aufrufe in den Server-Logfiles, z.B. auch vom Adsbot von Google.
    Das ist diesmal die erste Meldung in der Art, die wir von google erhalten.
    Ich will den da ja auch nicht crawlen lassen, weil wie geschrieben, weiße Seiten aufgehen. Nur was mach ich, wenn das jetzt tatsächlich negative Auswirkungen auf's Ranking hat?
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    Ich muss hier mal ein bischen nerven. Das muss doch auch andere SW-User betreffen.

    Per robots.txt ist das Verzeichnis /widget vom crawlen ausgeschlossen.
    Beim Rendern der Seite wird aber eine Fehlermeldung angezeigt, dass der Googlebot aufgrund von Beschränkungen in der robots.txt nicht auf die JavaScript- und/oder CSS-Dateien zugreifen.

    Goolge schickt scheinbar gerade Benachrichtigungen raus:
    http://seo.at/blockierte-javascript-und ... webmaster/
    und droht mit schlechteren Rankings.

    Wie umgeht man das jetzt?
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    Hmm, scheint niemanden zu interessieren, was mit seinen Rankings passiert?
    Die Suche bei Google nach /widgets/index/refreshStatistic ergibt mehr als 5000 Treffer und es sind wahrscheinlich alles Shopwareshops.

    Welche Funktion steckt eigentlich hinter diesem /widgets/index/refreshStatistic ?
    Hat das mit den shopeigenen Statistiken zu tun?
  • SebastianKlöpperSebastianKlöpper AdministratorsComments: 7196 Received thanks: 1675 Member since: June 2010
    Hallo,

    das ist die Shopware eigene Statistik.
    Damit werden z.B. Seitenaufrufe und Besucher in Shopware getrackt.
    Die URL gibt es nur, wenn die Shopware Statistik aktiv ist. Hat auf Darstellung oder Funktion im frontend aber keine Auswirkungen.

    Die URL soll und darf von Google auch nicht gecrawlt werden.
    Ich kann mir nicht vorstellen, dass das irgendwelche Auswirkungen auf das Ranking haben soll. Da ist ja auch kein Content hinter.

    Hat einer verlässliche Quellen parat? Google etc.?
    Es muss da ja mehr detaillierte Infos zu geben, sollte das ein Problem werden. Dann sollte dazu am besten auch direkt ein Ticket im Issue Tracker erstellt werden.

    Sebastian

    PS: in der Console meiner Seiten gab es dazu bisher keinerlei Meldungen oder Fehler
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    Hallo Sebastian,

    wir haben auch erst jetzt die Meldung von Google erhalten.
    Gecrawlt wurden die Links schon früher - trotz Eintrag in der robots.txt - wie bereits geschrieben.

    Verlässliche Quellen?
    Hab ich doch geschrieben, das wir eine E-Mail erhalten haben und die entsprechende Meldung in den WMT. Ich schreibe das hier ja nich aus Langerweile, sondern weil es ein Problem zu werden scheint. Was bisher kein Problem war, muss ja nicht immer kein Problem bleiben.

    In den WMT kann man unter Crawling > Abruf wie durch Google testen: "Abrufen und Rendern" auswählen. Es kommt dann unter Status "teilweise" und der entsprechend Link wird angezeigt wie oben erwähnt.

    Die Statistiken zu deaktivieren wäre unschön.
  • SebastianKlöpperSebastianKlöpper AdministratorsComments: 7196 Received thanks: 1675 Member since: June 2010
    Hi,

    ich meinte damit auch eher, gibt es da noch weitere Quelle / Informationen im Netz. Evtl. eine genaue Seite von Google, wo im Detail auf das Verhalten eingegangen wird und was Google zur Lösung vorschlägt.

    Ich habe bisher nur diverse verschiedene Aussagen finden können, aber noch keine Seite seitens Google, da ich bisher auch keine solche eMail bekommen habe.

    Das Google ggf. dieses hier moniert
    https:// ... /widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=dfd42c
    
    sehe ich ja aktuell noch nicht als Problem. Google soll das nicht lesen. Das beinhaltet ja nichts an Infos für Google und hat auch keinen Einfluss auf Inhalt oder Darstellung der Seite.

    Aktuell wüsste ich jetzt nicht, was man dort überhaupt anpassen kann oder evtl. sollte.
    Mir geht es ja nur darum, dass man, wenn es ein Problem sein sollte, dieses allgemein behben kann. Bisher haben meine Recherchen leider nicht viel an Infos ergeben

    Sebastian

    Nachtrag: Du kannst ansonsten ja probemlos das /widgets aus der robots.txt entfernen. Ansonsten blocken wir ja eigentlich nix Kritisches, wo ich ein Problem seitens des Crawlers erwarten würde. Habe gerade noch einmal nachgesehen und Widgets sind auch für Slider in Ekw oder halt Statistiken. Das ist auch noch nichts so lange in der robots.txt

    Denke, dass wird dann die Probleme lösen, wenn du widgets dort wieder entfernst.
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    Hier mal die komplette Meldung von Google:
    Die Google-Systeme haben kürzlich ein Problem mit Ihrer Startseite festgestellt, das sich auf das Rendern und Indexieren Ihrer Inhalte durch unsere Algorithmen auswirkt. Der Googlebot kann aufgrund von Beschränkungen in Ihrer robots.txt-Datei nicht auf Ihre JavaScript- und/oder CSS-Dateien zugreifen. Anhand dieser Dateien kann Google feststellen, ob Ihre Website ordnungsgemäß funktioniert. Wenn Sie den Zugriff auf diese Dateien blockieren, kann dies zu schlechteren Rankings führen.

    Sie können dieses Problem wie folgt beheben:

    1
    Blockierte Ressourcen identifizieren

    Identifizieren Sie mithilfe der Funktion "Abruf wie durch Google" diejenigen Ressourcen, die von den robots.txt-Anweisungen blockiert werden.

    "Abruf wie durch Google" ausführen

    2
    robots.txt-Datei aktualisieren

    Entfernen Sie die Beschränkungen bezüglich Ihrer CSS- und JavaScript-Dateien aus Ihren robots.txt-Anweisungen und testen Sie die Änderungen mit dem robots.txt-Tester. Aktualisieren Sie anschließend Ihre überarbeitete robots.txt-Datei auf Ihrer Website und senden Sie sie an die Search Console.

    robots.txt testen

    3
    Korrektur mithilfe von "Abruf wie durch Google" prüfen

    Aktivieren Sie vor dem Abrufen und Rendern Ihrer Seite die Option "Mobile: Smartphone". So können Sie überprüfen, ob der Googlebot für Smartphones Ihre Inhalte korrekt rendert.

    "Abruf wie durch Google" ausführen

    Sie haben Fragen zur Problembehebung? Weitere Informationen

    • Anleitung zum Testen Ihrer robots.txt-Datei in unserer Hilfe
    • Google-Leitfaden zur Erstellung einer für Mobilgeräte optimierten Website
    • In unseren robots.txt-Spezifikationenerfahren Sie, wie Sie steuern können, welcher Crawler auf welche Dateien zugreifen kann.
    • Sie können die Indexierung Ihrer Seiten in Google verhindern, indem Sie Robot-Meta-Tags oder X-Robots-Tag-HTTP-Header verwenden.
    • Stellen Sie Fragen in unserem Forum, wenn Sie weitere Hilfe benötigen. Geben Sie hierbei den Nachrichtentyp [WNC-658001] an.
    Die betroffene URL lautet
    ... /w​idg​ets​/in​dex​/re​fre​shS​tat​ist​ic?​req​ues​tPa​ge=​/&r​equ​est​Con​tro​lle​r=i​nde​x&s​ess​ion​-1=​1ab​0dc​25b​dad​393​b9b​af6​fb8​5d6​fe2​1d2​a25​afc​0&c​all​bac​k=j​Que​ry1​910​165​985​022​904​351​35_​143​810​134​762​3&_​=14​381​013​476​24
    Klickt man den Link an, wird eine weiße Seite angezeigt.
    Da sich die Session-ID beim Testen ändert, habe ich die Befürchtung, dass wir Tausende von neuen Seiten haben werden, die alle leer sind, wenn ich den Eintrag aus der robots.txt entferne.

    Habe das Gefühl, wir drehen uns im Kreis.
  • NiklasWNiklasW MemberComments: 39 Received thanks: 4 Member since: August 2015
    Hallo Sebastian,

    ich klinke mich mal in diese Diskussion ein, da die Blockierung des /widget/ Verzeichnisses schon ein größeres Problem für Google zu sein scheint. Dies ist wahrscheinlich den wenigsten bewusst.

    Wenn man über die Google Webmaster Tools die Startseite "wie durch Google abrufen" lässt und die Seite auch gerendert wird, sieht man, dass bis auf Header und Footer nichts vom Google Bot gesehen wird. Dies liegt daran, dass die Startseiten-Einkaufswelten über das Verzeichnis /widgets/ aufgerufen werden, aber im Shopware 5 Standard per robots.txt vom Suchmaschinenzugriff von euch ausgeschlossen wurden.

    Dies führt im Ergebnis dazu, dass der Google Bot keinen sinnvollen Startseiten-Content zu Gesicht bekommt.

    Natürlich kann man nun wieder das /widgets/ Verzeichnis aus der Robots.txt entfernen, aber ihr werdet euch sicher etwas dabei gedacht haben.

    Was kann das Entfernen aus der robots.txt zur Folge haben?

    Ich würde mich über eine offizielle Shopware-Antwort sehr freuen.

    Vielen Dank!

    Niklas
  • SebastianKlöpperSebastianKlöpper AdministratorsComments: 7196 Received thanks: 1675 Member since: June 2010
    Hi,

    leg mal bitte ein Ticket unter jira.shopware.de dazu an.
    Dann schauen wir, ob wir das noch mit in die 5.0.3 final packen.

    Der RC ist ja verfügbar, aber noch nicht die finale Version

    Sebastian
  • useguseg MemberComments: 2235 Received thanks: 535 Member since: January 2013
    Hallo,

    dies scheint aber ein allgemeines Problem zu sein denn in einem alten XTc-Shop tritt das Problem ab dem gleichen Zeitraum wie bei Shopware auf, als wenn Goggle was geändert hat.

    Die Meldungen sind bei mir im WMT seit dem 28.07. und ich nutze zur Zeit noch Shopware 4.3.2

    Das einzige was ich zu dem Thema gefunden habe ist hier:
    https://productforums.google.com/forum/ ... JS-Dateien
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    Na, endlich mal jemand, der sich damit beschäftigt.
    Ich wundere mich schon, dass sich keiner der anderen Shopbetreiber damit auseinandersetzt.

    Wir werden die Meldung jedenfalls nicht los. Kontakt zu Google ist nicht möglich und im Google-Forum gibt es nur beschwichtigigende Wischi-Waschi-Aussagen von Leuten, die keine Google-Mitarbeiter sind.

    Wie sich das mit den Einkaufswelten verhält, weiß ich nicht.
    Ich bin bisher davon ausgegangen, dass es an der shopinternen Statistik liegt.
    Deaktiviert man die, ist der entsprechende Code im Quelltext weg.
    Aber die Statistiken zu deaktivieren kann keine Lösung sein.

    Wenn Du den Eintrag aus der robots.txt entfernst, kann Google die oben genannten Links aufrufen, erhält mit jedem Aufruf eine neue Session und somit hunderte (oder tausende, oder noch mehr) von leeren, neuen Seiten.
  • NiklasWNiklasW MemberComments: 39 Received thanks: 4 Member since: August 2015
    Nur zu unserem Hintergrund: wir beschäftigen uns seit Jahren intensiv mit dem Thema SEO und legen großen Wert auf eine saubere Indexierung unserer Projekte.

    Dass
    ​/wi​dge​ts/​ind​ex/​ref​res​hSt​ati​sti​c?r​equ​est​Pag​e=/​&re​que​stC​ont​rol​ler​=in​dex​&ca​llb​ack​=
    
    für den Googlebot per robots.txt gesperrt sind ist korrekt und für Google keinerlei Problem. Google Fehlermeldungen, die sich nur auf dieses Verzeichnis beziehen (AJAX blockiert), kann man also getrost ignorieren.

    Was aber nicht blockiert sein darf, sind die Einkaufswelten im Verzeichnis /widgets/emotion/

    Dies führt sonst wie weiter oben ausgeführt dazu, dass es quasi keinen sinnvollen Content auf der Startseite eures Shops gibt (=schlecht fürs Ranking bei Google). Testet das doch einfach mal selber mit euren Google Webmaster Tools unter "Crawling" > "Abruf wie durch Google" aus. Gebt eure Startseite an und klickt "ABRUFEN UND RENDERN" und schaut euch dann an, was der Google Bot von eurer Startseite tatsächlich sieht --> so gut wie nix.

    Ein temporärer Workaround könnte doch sein, dass man anstatt komplett
    /widgets/
    
    nur
    /widgets/index/ 
    
    in der robots.txt blockiert.

    Damit sollten die Staistiken vom Google Bot nicht mehr aufgerufen werden, die Einkaufswelten aber korrekt gerendert werden.

    Meinungen?
    Thanked by 2Gaia grevo
  • SebastianKlöpperSebastianKlöpper AdministratorsComments: 7196 Received thanks: 1675 Member since: June 2010
    Hallo,

    ich habe das Testweise mit zweien meiner Shops gemacht.
    Shopware 5.0.3 RC und Standard robots.txt etc. - keinerlei Änderungen.

    WMT mit Abruf durch Google als Desktop und Rendern: Alles in Ordnung

    Da kann ich keinerlei Problem erkennen aktuell

    Sebastian
  • NiklasWNiklasW MemberComments: 39 Received thanks: 4 Member since: August 2015
    Hallo Sebastian,

    danke fürs Testen. D.h. du hast dir in den Webmaster Tools beide Screenshots angesehen, also links die Seite wie der Google Bot sue sieht und rechts, wie sie ein menschlicher Besucher sieht. Und beide Screenshots sehen gleich und korrekt aus?

    D.h. im linken Screenshot ist auch die Startseiteneinkaufswelt zu sehen?

    Würde mich interessieren, wie es bei anderen aussieht. Kann mir kaum vorstellen, dass dies nur bei uns auftritt?

    Schöne Grüße,
  • SebastianKlöpperSebastianKlöpper AdministratorsComments: 7196 Received thanks: 1675 Member since: June 2010
    Korrekt. Da war so kein Unterschied zu sehen
  • useguseg MemberComments: 2235 Received thanks: 535 Member since: January 2013
    NiklasW wrote:
    Hallo Sebastian,

    danke fürs Testen. D.h. du hast dir in den Webmaster Tools beide Screenshots angesehen, also links die Seite wie der Google Bot sue sieht und rechts, wie sie ein menschlicher Besucher sieht. Und beide Screenshots sehen gleich und korrekt aus?

    D.h. im linken Screenshot ist auch die Startseiteneinkaufswelt zu sehen?

    Würde mich interessieren, wie es bei anderen aussieht. Kann mir kaum vorstellen, dass dies nur bei uns auftritt?

    Schöne Grüße,
    Also bei mir ist nur die reine Start-Seite zu sehen ohne jeden Style und Skripte, da diese blockiert sind, aber die Bilder und die Texte der Einkaufswelt ist zu sehen.

    Ist das nun gut oder schlecht?

    Getestet mit Shopware 4.3.2


    Mit meinem Testshop mit Shopware 5 sieht es dagegen super aus, beide Ansichten sind gleich.

    D.h. das das Problem nur mit Shopware 4 auftritt.
  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012
    NiklasW wrote:
    ​/wi​dge​ts/​ind​ex/​ref​res​hSt​ati​sti​c?r​equ​est​Pag​e=/​&re​que​stC​ont​rol​ler​=in​dex​&ca​llb​ack​=
    
    für den Googlebot per robots.txt gesperrt sind ist korrekt und für Google keinerlei Problem. Google Fehlermeldungen, die sich nur auf dieses Verzeichnis beziehen (AJAX blockiert), kann man also getrost ignorieren.
    Ich will Deine Kompetenz in puncto SuMa-Optimierung nicht angreifen, aber solange ich von Google keine Bestätigung habe, dass das keine Auswirkungen auf das Ranking hat, bleibe ich skeptisch.
    NiklasW wrote:
    Ein temporärer Workaround könnte doch sein, dass man anstatt komplett
    /widgets/
    
    nur
    /widgets/index/ 
    
    in der robots.txt blockiert.

    Damit sollten die Staistiken vom Google Bot nicht mehr aufgerufen werden, die Einkaufswelten aber korrekt gerendert werden.

    Meinungen?
    Die Seiten werden korrekt dargestellt nach dem Rendern, kein Unterschied zwischen linkem und rechtem Fenster egal ob /widgets/index/ oder nur /widget/ in der robots.txt steht.
    Nur woher weiß denn der Google-Crawler, dass das so ist, wie beschrieben. Der vermutet, dass die Seite nicht korrekt angezeigt wird, weil er ja keinen Zugriff darauf hat.
    Dem Google-Bot ist es egal, ob das in der robots.txt steht, er und der Google-Ads-Bot crawlen trotzdem.

    Aktuell sind wir mit der PE 4 unterwegs und ich kann keine anderen Fehlermeldungen seitens Google als die oben beschriebene feststellen, trotz einer Einkaufswelt auf der Startseite.
  • kskksk MemberComments: 63 Received thanks: 3 Member since: December 2014
    Hallo!

    Wir haben bei einem Kunden Shopware 5.0.2 im Einsatz und genau das gleiche Problem wie "simplybecause". Wir haben nun im eigenen Theme die Struktur "frontend/robots_txt/index.tpl" angelegt und wie folgt gefüllt:
    {extends file='parent:frontend/robots_txt/index.tpl'}
    
    {block name="frontend_robots_txt_disallows" append}
    Allow: /widgets/emotion/
    {/block}
    
    Nun wird die Einkaufswelt auch im Googlebot-Vergleich angezeigt.
    Thanked by 2viertypen Elephant
  • GaiaGaia MemberComments: 4 Received thanks: 0 Member since: November 2015
    Ein temporärer Workaround könnte doch sein, dass man anstatt komplett

    /widgets/


    nur

    /widgets/index/


    in der robots.txt blockiert.
    Der Workaround bringt bei uns ebenfalls etwas. Wenn der komplette /widgets/ Pfad in der robots.txt ausgeschlossen wird, verschwinden zwei unserer Artikel-Slider von der Startseite. Es handelt sich zum einen um Neuheiten und zum anderen um Top-Seller, also Content, der auf jeden Fall gecrawlt werden soll.

    Google braucht den Zugriff auf /widgets/emotion/ um die Slider laden zu können.
  • ToricToric MemberComments: 978 Received thanks: 46 Member since: October 2015

    Hallo,

    ich klinke mich hier ebenfalls ein. Habe SW 5.1.3, gestartet ist der Shop am 16.3.16 und seither steigen die blockierten Resourcen von 0 auf derezeit knapp 300. Die bemängelten URLs haben, soweit ich das erkennten kann 3 versch. "Typen"

    Domain.de/widgets/Captcha/refreshCaptcha?_=1458864000024    
    domain.de/widgets/listing/productNavigation?ordernumber=TPG15&categoryId=36

    und wie o.g. refreshstatistik.....

    Abruf wie durch Google bei normaler Produkt-URL ist links wie rechts gleich mit Produktbild und Text.

    Bei der Startseite - also der Einkaufswelt - die nur aus Bildern/Bannern besteht, bleibt es links weiß. Was wohl so nicht sein soll und scheinbar - wie ich oben lese - auch nicht überall der Fall ist.

    Meine Robots.txt ist Original-SW mit der Ergänzung um pdfs.

    Was tun sprach Zeus?

  • donpedrodonpedro MemberComments: 58 Received thanks: 1 edited April 2016 Member since: February 2015

    Habe Update auf SW 5.1.3, durchgeführt und seither steigen die blockierten Ressourcen von 0 auf derzeit knapp 81.

    Ich habe diesbezüglich auch Shopware Support angeschrieben, aber dort wird das Problem irgendwie nicht richtig ernst genommen.

    Unter anderen habe ich folgende Antwort bekommen:

    "Bitte haben Sie Verständnis, dass wir keine Unterstützung bei der Bedienung von Fremd-Software geben können. Aufkommende Rückfragen zur Nutzung der Google Search Console können wir im Rahmen einer Ticketanfrage an den Technischen Supports von Shopware daher nicht beantworten."

    Komisch ist aber, dass vor dem Update keine blockierten Ressourcen zu verzeichnen waren.

     

     

  • CarpCarp MemberComments: 5 Received thanks: 2 Member since: August 2012

    die bemängelten ressourcen waren in sw5 schon immer in der robots.txt blockiert - das ist nichts neues.

    frag doch mal google warum die erst nach pber 1 jahr darauf kommen, dass bei dir ressourcen blockiert sind.

    ich habe schon am tag des release von sw5.1.3 das update eingespielt aus 5.1.3 und habe in meiner search console keinerlei meldung bzgl. der blockierten ressourcen. alles ist sauber. die meldung steht also nicht im zusammenhang mit shopware 5.1.3.

    in der vergangenheit hatte ich ein ähnliches problem. hier ist der craweler in pfade gerutscht, welche von der robots.txt gesperrt waren. der fehlerwurde con einem java-script verursacht, welches von einem frontend-plugin (irgendso ein banner-plugin) verursacht wurde. ich habe das plugin deaktiviert und danach war schluss mit den fehlern bzgl. der blockierten ressourcen.

    ich gehe davon aus, dass dies auch bei dir das problem ist. andernfalls würde jede shopware installation in der serach console fehler bzgl. blockerte ressourcen werfen.

    seitedem bin ich auf jeden fall vorsichtig mit dem einsatz von frrontend-plugins sowie template-anpassungen geworden und bin damit sehr gut gefahren.

    wenn du dich so über die blockierten ressourcen aufregst, so gib doch einfach die ressource widgets in der robots.txt frei.

  • CarpCarp MemberComments: 5 Received thanks: 2 edited April 2016 Member since: August 2012

    ich hab noch einmal im meinem 2. shop geschaut. dort werden in der search console tatsächlich der Pfad /widgets/Captcha/ von Google bemängelt. gogole bemängelt, dass der pfad von der robots.txt gesperrt wurde und dies dazu führen kann, dass die ressourcen nicht richtig gerendert werden können. bei mir zumindest wird der shop sauber gerendert und vom sauber und einwandfrei.

    bis dato ist mir das gar nicht aufgefallen, da das ranking des shops absolut top ist. der pfad widget/cpatcha wurde bereits zu SW4 Zeiten bei mir geblockt. aber erst jetzt meckert gwt. Strange......

    es wäre mal schön was von google zu hören, warum dieser pfad auf einmal und über nacht in gwt bemängelt wird, obwohl ich diesen schon seit jahren über die robots.txt ausschließe.

    mein Ranking hat auf jeden fall nicht gelitten sondern ist bei diesem shop eher gestiegen. warum auch immer. ich glaub google hat einfach nur einen fehler in der search console behoben, so dass von der robots.txt blockierte ressourcen nun endlich getrackt werden.

    komisch ist  nur, dass bei meinem 1. shop dies noch nicht bemängelt wird. ist die gleiche shopware version ohne template anpassungen und ohne fremd plugins.

    ich geh davon aus, dass wenn der crawler darüber geht, die blockierten ressourcen auch auftauchen werden.

    ich werde auf jeden fall die original robots.txt von sw nicht anfassen. never touch a running system. google weist auch darauf hin, dass nur unter umständen die ressource nicht gerendert werden kann. bei meinem 2. shop ist dies nicht der fall. der wird sauber gerendert.

  • ElephantElephant MemberComments: 14 Received thanks: 1 edited May 2016 Member since: August 2015

    5.1.5

    So habe ich es gemacht:

    Beim Shop Multimedia-Everywhere haben wir beim Rendern in der Google Suchkonsole Fehler mit der Bezeichnung Grund =  "Blockiert" erhalten.

    1 Fehler wurde dabei als Wichtig eingestuft. Gleichzeitig wurde nur der Header und der Footer der Homepage in der gerenderten Schau angezeigt. Der Typ des Fehlers wird mit "Ajax" ausgewiesen. Es handelt sich dabei um ein Disallow vom Verzeichnis "widgets".
    Damit wird auch das Verzeichnis "widgets/emotion" für Google blockiert. Da die Homepage Komponenten aus diesem Verzeichnis benötigt und Google blockiert wird, meckert Google und droht mit Abwertung.

    Nach Recherche im Shopware-Community-Forum habe ich folgendes getan:
     

    Die Ursache liegt an der Integration einer Einkaufswelt auf der Homepage. Diese benutzt ein widget aus dem Verzeichnis \widget\emotion.

     

    1. Im Verzeichnis /home/hedro9/public_html/mme_shop/themes/Frontend/MmeResponsive/frontend/robots_txt/
      die Datei anlegen:
      index.tpl
       
    2. Inhalt der TPL:

      {extends file="parent:frontend/robots_txt/index.tpl"}


      {block name="frontend_robots_txt_disallows" append}
      Allow: /shop/de/widgets/emotion

      Disallow: /*.pdf$

      {/block}

      Dieses Template erweitert den Block "frontend_robots_txt_disallows" um diese Eintragungen.

      Funktioniert hat es im Google-Renderer erst nach dem ich /shop/de/ vor
      "widgets/emotion" gestellt habe.

      Im Original-Template im Verzeichnis:
      "/home/hedro9/public_html/mme_shop/themes/Frontend/Bare/frontend/robots_txt/" wird das Disallow so angewiesen:

      Disallow: {url controller=widgets fullPath=false}

      Wenn man versucht: Allow: Disallow: {url controller=widgets/emotion fullPath=false}
      anzuweisen, erhält man einen Shopware-Engine-Fehler. Deshalb habe ich im eigenen Theme angewiesen:
      Allow: /shop/de/widgets/emotion

      wobei /shop/de vorangestellt werden muss, sonst funktioniert es nicht.

      Wenn man also einen Sub-Shop damit abdecken will, muss man schauen wie der virtuelle Pfad von Shopware jeweils aussieht.

       
    3. 2 weitere Meldungen
      http://shop.multimedia-everywhere.com/shop/de/widgets/SwagCookiePermission/isAffectedUser [Blockiert]

      http://shop.multimedia-everywhere.com/shop/de/widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=b940f9d192aa5195bf67bc0b11702b7d5dae58d4&callback=jQuery21102959865420125425_1463270286012&_=1463270286013 [Blockiert]

      Da das gerenderte Image alle Text-Daten anzeigt, habe ich auf die Freigabe dieser beiden Verzeichnisse verzichtet. Google stuft diese beiden Fehler mit "Mittel" und "Niedrig" ein.

      Links:
      http://forum.shopware.com/discussion/29627/google-wmt-meldung-googlebot-kann-nicht-auf-zugreifen

      https://developers.shopware.com/blog/2015/08/11/the-shopware-seo-engine/

      http://community.shopware.com/Shopware-SEO-Guide_detail_1397.html#robots.txt_-_Vermeiden_Sie_das_unerw.FCnschte_Crawlen_von_speziellen_Dokumenten-Typen

    Grüsse vom Elephant

    Thanked by 1shabby
  • useguseg MemberComments: 2235 Received thanks: 535 Member since: January 2013

    Was bei mir auch noch bemängelt wird ist "/widgets/listing/productNavigation?ordernumber=123456", sollte man das auch noch frei geben?

    Und um was handelt es sich hier, etwa um die Navigation Prev- und Next-Button auf den Artikelseiten?

    Uwe

  • simplybecausesimplybecause MemberComments: 1675 Received thanks: 229 Member since: January 2012

    Bei uns ist seit März 2016 die Anzahl der blockierten Seiten auf 501 gestiegen (mehr als indexiert sind).
    Bemängelt werden:

    /widgets/SwagBonusSystem/articlePoints
    /widgets/SwagBonusSystem/haederPoints
    /widgets/Captcha/refreshCaptcha?_=1234567890
    /widgets/listing/productNavigation?ordernumber=XYZ&categoryId=1234
    /widgets/index/refreshStatistic?requestPage=/kategorie/&requestController=listing&callback=jQuery211016598502290435135_1462492800022&_=1462492800023
    /BibuShariffBackend?

    In der robots.txt haben wir /widgets ausgeschlossen vom Crawling.
    Ich ändere das heute mal auf /widgets/index.
    Hoffe, das geht nicht nach hinten los.

    Das perverse an Google und der robots.txt ist, dass Google die ausgeschlossenen Verzeichnisse trotzdem crawlt.
    Wir hatten das auch mit /note, was ja eigentlich nicht gecrawlt werden soll.
    Hat Google mal gar nicht interessiert und wir hatten Anfang März knapp 400 URLs im Index, mit dem Snippet:
    "Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar."
    Erst crawlt Google ein Verzeichnis, das er nicht crawlen soll und wenn die URLs indexiert sind, kommt der genannte Hinweis.

    Nutzt jemand das Shariff-Plugin?
    Kann ich die Blockierung durch die robots.txt aus der robots.txt ruhig entfernen?

  • shabbyshabby MemberComments: 231 Received thanks: 11 edited May 2016 Member since: September 2015

    5.1.5

    So habe ich es gemacht:

    Beim Shop Multimedia-Everywhere haben wir beim Rendern in der Google Suchkonsole Fehler mit der Bezeichnung Grund =  "Blockiert" erhalten.

    1 Fehler wurde dabei als Wichtig eingestuft. Gleichzeitig wurde nur der Header und der Footer der Homepage in der gerenderten Schau angezeigt. Der Typ des Fehlers wird mit "Ajax" ausgewiesen. Es handelt sich dabei um ein Disallow vom Verzeichnis "widgets".
    Damit wird auch das Verzeichnis "widgets/emotion" für Google blockiert. Da die Homepage Komponenten aus diesem Verzeichnis benötigt und Google blockiert wird, meckert Google und droht mit Abwertung.

    Nach Recherche im Shopware-Community-Forum habe ich folgendes getan:
     

    Die Ursache liegt an der Integration einer Einkaufswelt auf der Homepage. Diese benutzt ein widget aus dem Verzeichnis \widget\emotion.

     

    1. Im Verzeichnis /home/hedro9/public_html/mme_shop/themes/Frontend/MmeResponsive/frontend/robots_txt/
      die Datei anlegen:
      index.tpl
       
    2. Inhalt der TPL:

      {extends file="parent:frontend/robots_txt/index.tpl"}


      {block name="frontend_robots_txt_disallows" append}
      Allow: /shop/de/widgets/emotion

      Disallow: /*.pdf$

      {/block}

      Dieses Template erweitert den Block "frontend_robots_txt_disallows" um diese Eintragungen.

      Funktioniert hat es im Google-Renderer erst nach dem ich /shop/de/ vor
      "widgets/emotion" gestellt habe.

      Im Original-Template im Verzeichnis:
      "/home/hedro9/public_html/mme_shop/themes/Frontend/Bare/frontend/robots_txt/" wird das Disallow so angewiesen:

      Disallow: {url controller=widgets fullPath=false}

      Wenn man versucht: Allow: Disallow: {url controller=widgets/emotion fullPath=false}
      anzuweisen, erhält man einen Shopware-Engine-Fehler. Deshalb habe ich im eigenen Theme angewiesen:
      Allow: /shop/de/widgets/emotion

      wobei /shop/de vorangestellt werden muss, sonst funktioniert es nicht.

      Wenn man also einen Sub-Shop damit abdecken will, muss man schauen wie der virtuelle Pfad von Shopware jeweils aussieht.

       
    3. 2 weitere Meldungen
      http://shop.multimedia-everywhere.com/shop/de/widgets/SwagCookiePermission/isAffectedUser [Blockiert]

      http://shop.multimedia-everywhere.com/shop/de/widgets/index/refreshStatistic?requestPage=/&requestController=index&session-1=b940f9d192aa5195bf67bc0b11702b7d5dae58d4&callback=jQuery21102959865420125425_1463270286012&_=1463270286013 [Blockiert]

      Da das gerenderte Image alle Text-Daten anzeigt, habe ich auf die Freigabe dieser beiden Verzeichnisse verzichtet. Google stuft diese beiden Fehler mit "Mittel" und "Niedrig" ein.

      Links:
      http://forum.shopware.com/discussion/29627/google-wmt-meldung-googlebot-kann-nicht-auf-zugreifen

      https://developers.shopware.com/blog/2015/08/11/the-shopware-seo-engine/

      http://community.shopware.com/Shopware-SEO-Guide_detail_1397.html#robots.txt_-_Vermeiden_Sie_das_unerw.FCnschte_Crawlen_von_speziellen_Dokumenten-Typen

    Grüsse vom Elephant
     

     

    Hallo!

    Ich versuche es die ganze Zeit, dass hinzubekommen. Es will einfach nicht klappen! Kann mir einer, vorzugsweise Elephant, die Pfade erklären. Ab wann ist der Pfad Userabhängig? Sprich: /home/hedro9/public_html/mme_shop/themes/Frontend/MmeResponsive/frontend/robots_txt/ ist sein Pfad, meiner müsste bei mir so aussehen: /themes/Frontend/ShabbyWorldNew/frontend/robots_txt

    Kann das sein?

    Jetzt hat es doch geklappt. Gott sei dank. Man man man was ein Aufwand für einen nicht programmierer wie mich...:-D

     

  • useguseg MemberComments: 2235 Received thanks: 535 edited May 2016 Member since: January 2013

    @shabby

    ganz einfach eine    "/themes/Frontend/eigenes_Theme/frontend/robots_txt/index.tpl" anlegen und den Inhalt rein.

    {extends file="parent:frontend/robots_txt/index.tpl"}
    
    {block name="frontend_robots_txt_disallows" append}
    
    Allow: /widgets/emotion/
    
    {/block}

    Uwe

    Thanked by 1shabby
  • shabbyshabby MemberComments: 231 Received thanks: 11 edited May 2016 Member since: September 2015

    Hat geklappt, endlich. Hat wohl etwas gedauert bis google das umgesetzt hatte... Danke sehr für die Hilfe

Sign In or Register to comment.