ich habe jetzt fast ganz ganze Wochenende an diesem Problem gewerkelt und komme nicht weiter. Ich hoffe jemand von euch hat die zündende Idee. Ich habe mir das Plug In “On Page SEO Analyse” heruntergeladen, weil ich mal gucken wollte, wie es so um meine Seite bestellt ist. In diesem Plug In werden die Shopseiten analysiert und anschließend aufgezeigt welche Seiten indexiert sind bzw. nicht, welche gecrawlt werden und so weiter.
In der Kategorie robots.txt wird mir angezeigt, dass nicht eine einzige seite gecrawlet wird, weil dies in der robots.txt disallowed ist. Meine robots.txt. hat aber eigentlich keine Einschränkungen.
Google Test sagt, dass alles fehlerfrei ist und problemlos läuft. Trotzdem habe ich keine einzige Seite die gecrawlet ist. Ich habe in den Textbausteinen nach der robots.txt gesucht und alles auf “index, follow” gestellt. Trotzdem klappt es nicht.
Ich hoffe ich finde hier Hilfe, nachdem ich über Google nur Anleitungen gefunden habe, wie man verhindert dass Seiten gecrawlet werden .
Ich habe die robots.txt deswegen neu erstellt, weil diese in meinen Augen alles andere als “ausreichend” erstellt wurde. Vielleicht habe ich im Theme irgendwas vergessen oder falsch eingestellt, das will ich nicht außschließen. Aber als ich durch das oben erwähnte PlugIn die robots.txt überprüft habe, sah diese wie folgt aus:
User-agent: \*
und DAS erscheint mir alles andere als “ausreichend”. Da ist ja nichtmal die Sitemap aufgeführt.
Ich habe selbst keine große Ahnung von den Templates. Kannst du mir sagen, wo ich diese Template Blöcke anhängen bzw. bearbeiten kann, die in dem Artikel erwähnt werden?
Wenn du nach inurl:Aussenposten.com suchst findest du auch ein paar Seiten im Index, gar keine ist also nicht richtig, auch wenn das Tool das meint. Es sind aber natürlich viel zu wenige. Ein Blick in die Glaskugel sagt mir, dass das vielleicht am expliziten Allow liegt, den braucht es nicht, denn alles, was nicht mit Disallow ausgeschlossen ist, ist in der robots.txt erlaubt.
Ich würde wie Moritz vorschlägt zunächst mal die robots.txt löschen und schauen, was dann das Plugin spricht.
Mir ist nur nicht ganz klar, wo und wie ich dann regeln festlege, die dann bei der robot.txt Anwendung finden.
In deinem Theme. Dort legst du frontend/robots_txt/index.tpl an (falls es die noch nicht gibt), extendest wie bei jedem anderen Template-File auch vom Bare-Parent und erweiterst bzw. überschreibst dann die drei Blöcke frontend_robots_txt_disallows, frontend_robots_txt_allows und frontend_robots_txt_sitemap.
Ich werde mich da gleich mal dransetzen und schauen, ob ich das finde. Im Theme Manager habe ich nämlich bisher noch nichts gefunden und die robot.txt in den Textbausteinen gesucht und dort von noindex nofollow auf index follow umgestellt.
Ich werd mal tüfteln und hier ein Update posten.
OffTopic: Mic habe ich leider (noch) nicht. Sorry.
Ich habe die OnPage Analyse nochmal durchlaufen lassen und so sieht das Ergebnis aus. Vielleicht lese ich das auch falsch aber ich finde das nicht vorteilhaft für meine Seite.
Wenn ich da die Links eingebe, die mir das PlugIn als Disallowed anzeigt, werden diese alle als Allowed markiert. Ich schätze, dass hier einfach das PlugIn Falsche Werte ausgibt. Habs runtergeworfen.
Ich gehe einfach mal davon aus, dass alles so gecrawlet wird, wie es sein muss, wenn der Technicalseo mir dort grünes Licht gibt.
Die Seite über Shopware ist seit September 2018 Online. Ich habe vor ca. 2-3 Monaten die URL geändert, habe aber von der alten auf die Neue eine Weiterleitung. Habe für die neue auch alles eingerichtet, also Google Tags, Sitemap und all das. Nur wie gesagt habe ich jetzt erst angefangen mich mit dem robots.txt auseinander zusetzen.
