Hallo liebe Community, ich möchte, dass Google & Co. meine Seite crawlen kann und eine sitemap findet. Daher habe ich in meinem neu eingerichteten Shop die entsprechenden Einstellungen im Backend unter Einstellungen>Grundeinstellungen>Storefront>SEO/Router-Einstellungen und Einstellungen>Grundeinstellungen>Storefront>Sitemap vorgenommen. Meine …/frontend/robots_txt/index.tpl sieht aus wie diese hier und ist meines Erachtens korrekt so: https://github.com/shopware/shopware/bl … /index.tpl Problem: Meine http://www.DOMAIN.de/robots.txt hat aber nur folgenden Eintrag: User-agent: * Disallow: / Und meine http://www.DOMAIN.de/sitemap.xml existiert überhaupt nicht. Laut Shopware 5 - Dokumentation generiert Shopware die robots.txt und sitemap.xml voll automatisch. Was mache ich denn falsch? Wie kann ich die beiden Dateien über das Backend neu generieren lassen? Ich nutze auf der gesamten Storefront SSL. Kann es etwas damit zu tun haben? Ich wäre sehr dankbar für Hilfe. Beste Grüße Sebastian
Hallo, diese beiden Dateien werden von Shopware dynamisch erstellt, wenn Sie abgefragt werden. Bitte die vorhandene robots.txt löschen, dann funktioniert das auch.
Hallo Andreas, danke für Deine Antwort. Ich habe die robots.txt gelöscht. Wenn ich nun mit Google Search Console die robots.txt teste, kommt folgendes: [quote] robots.txt fetch failed You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file.[/quote] Ist das denn normal bei dynamisch erstellten robots.txt? Viele Grüße Sebastian
Hallo, teste doch mal selbst im Browser: http://deineDomain.tld/robots.txt um Fehler auszuschließen.
Danke Andreas. Bei meiner Domain MIT www. vorab bekomme ich die gewünschte Rückmeldung, auch zur Sitemap. Bei meiner Domain OHNE www. vorab beinhaltet die robots.txt nur User-agent: * Disallow: / Ist das normal so?
Ich hab’s mir selbst beantwortet. Danke für Deine schnelle Hilfe Andreas. :thumbup: Viele Grüße Sebastian
Würde mich gerne kurz an das Thema dranhängen.
Ich habe in SW 5.1.2 die index.tpl unter /meinTheme/frontend/robots_txt angelegt, so wie dokumentiert. Der Inhalt entspricht der Datei auf Github
Die robots.txt Datei im root wird aber nicht generiert. Wie bekomme ich es zum Laufen?
Hat sonst niemand das Problem, dass die robots.txt trotz des Templates auf dem FTP nicht erscheint?
Wäre echt dankbar für einen kurzen Tipp.
Würde mich gerne kurz an das Thema dranhängen.
Ich habe in SW 5.1.2 die index.tpl unter /meinTheme/frontend/robots_txt angelegt, so wie dokumentiert. Der Inhalt entspricht der Datei auf Github
Die robots.txt Datei im root wird aber nicht generiert. Wie bekomme ich es zum Laufen?
Die /deinTheme/frontend/robots_txt.index.tpl erbt genauso wie alle anderen Template-Dateien von Bare-Theme.
Wenn du keine Änderung an der Datei vornehmen willst braucht du die auch nicht in deinem Theme drin haben.
Die robots.txt wird nicht in das Hautverzeichnis deines Shops auf dem Servers geschrieben, sondern ist nur über die Url www.dein-Shop.de/robots.txt abrufbar.
Uwe
Würde mich gerne kurz an das Thema dranhängen.
Ich habe in SW 5.1.2 die index.tpl unter /meinTheme/frontend/robots_txt angelegt, so wie dokumentiert. Der Inhalt entspricht der Datei auf Github
Die robots.txt Datei im root wird aber nicht generiert. Wie bekomme ich es zum Laufen?
Die /deinTheme/frontend/robots_txt.index.tpl erbt genauso wie alle anderen Template-Dateien von Bare-Theme.
Wenn du keine Änderung an der Datei vornehmen willst braucht du die auch nicht in deinem Theme drin haben.Die robots.txt wird nicht in das Hautverzeichnis deines Shops auf dem Servers geschrieben, sondern ist nur über die Url www.dein-Shop.de/robots.txt abrufbar.
Uwe
Danke für die Aufklärung, d.h. ich kann /robots_txt.index.tpl wieder löschen, weil MeinTheme von Bare -> Responsive auch diese Inhalte erbt? Nun hatte ich am Sonntag (03.04.) meinen Live-Gang und bisher wurde die robots.txt nicht aktualisiert. Über den Browser zeigt sie mir nur
User-agent: *
an. Ich möchte aber die anderen disallow Regeln darin haben, wie eben im Template hinterlegt. War ich nun also zu voreillig eine rebots.txt per Hand zu erstellen? Wann wird bei Abruf die Datei aktualisiert?
@Andrew
Wenn du die aus dem eigenem Theme löscht muss es die originale aus den Bare nehmen, wenn du natürlich Änderungen vornehmen willst, habe ich auch bei AGB und Widerruf usw. auf Disallow, musst du nicht die ganze index.tpl aus den Bare kopieren sondern kannst wie bei normalen tpl-Dateien auch vererben.
Die Datei deine _Theme//frontend/robots_txt/index.tpl anlegen, falls noch nicht vorhanden, und folgenden Inhalt rein:
{extends file="parent:frontend/robots_txt/index.tpl"}
{block name="frontend_robots_txt_disallows" append}
Disallow: /impressum
Disallow: /agb
Disallow: /agb-und-kundeninformationen
Disallow: /widerruf
Disallow: /widerrufsbelehrung-muster-widerrufsformular
Disallow: /datenschutzerklaerung
{/block}
@useg
Genau die Seiten möchte ich zusätzlich ausschließen. Nun ist die mein _Theme//frontend/robots_txt/index.tpl mit dem Inhalt angelegt, Cache geleert und Theme kompiliert.
Es kommt ein 404 Fehler, wenn ich domain.de/robots.txt aufrufe.
@useg
Genau die Seiten möchte ich zusätzlich ausschließen. Nun ist die mein _Theme//frontend/robots_txt/index.tpl mit dem Inhalt angelegt, Cache geleert und Theme kompiliert.
Es kommt ein 404 Fehler, wenn ich domain.de/robots.txt aufrufe.
Sende mir mal die URL von Shop und den Inhalt der „dein_Theme/frontend/robots_txt/index.tpl“ per PN, es kann doch nicht sein muss doch gehen.
Und du hast jetzt nur im Bare die Original-Datei und jetzt die eigene in deinem Theme, im FTP-Hauptorder deines Shops hast du jetzt nichts drin.
Uwe
@useg
Genau, Ausgangslage ist wie von dir beschrieben. Die PN ist gerade raus.
War gerade auf deinem Shop und es kann die Datei wirklich nicht finden 404 Fehler,
404 Not Found
nginx
aber die sitemap.xml funktioniert.
Versuche es mal kurzfristig mit dem original Responsiven Theme von Shopware und die immer Cache löschen und Theme kompilieren.
Uwe
@useg
Klappt leider auch nicht - weiterhin 404 Fehler.
Habe auch wirklich alle Caches geleert, Indizes neu aufgebaut und Theme kompiliert.
@Andrew
War gerade oben und es funktioniert doch jetzt mit deinem Template.
Uwe
Ich habe für Nacht jetzt die per Hand erstellte robots.txt hochgeladen 
Über die index.tpl wird weiterhin nichts ausgegeben
Hallo,
klinke mich auch mal ein.
Versuche soeben die sitemap.xml bei webmastertools einzubinden, dann kommt folgende Meldung von Google:
Bei Ihrer Sitemap handelt es sich offenbar um eine HTML-Seite. Bitte verwenden Sie stattdessen ein unterstütztes Format für Sitemaps.
Wenn ich shopdomain.de is available for purchase - Sedo.com eingebe, bekomme ich die Sitemap angezeigt.
Ebenso mit der robot.txt, die existiert anscheinend nicht.
Google sagt es kann nicht darauf zugegriffen werden, wenn ich eingebe shopdomain.de is available for purchase - Sedo.com,
werde ich je nach seorputer einstellung entweder auf die Startseite geleitet oder es gibt einen 404 Fehler.
Tommy
Hi,
eigentlich heißt die Datei robot s.txt!