# Probleme mit robots.txt und sitemap.xml **URL:** \ **Category:** Allgemein\ **Created:** [14. Oktober 2015 um 10:00 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357 "2015-10-14T10:00:45Z")\ **Posts on this page:** 20\ **Page:** 1
**Author:** ![Sebastian\_WSE](https://avatars.discourse-cdn.com/v4/letter/s/77aa72/32.png) [@Sebastian\_WSE](https://forum.shopware.com/u/Sebastian_WSE)\ **Post date:** [14. Oktober 2015 um 10:00 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/1 "2015-10-14T10:00:45Z")
Hallo liebe Community, ich möchte, dass Google & Co. meine Seite crawlen kann und eine sitemap findet. Daher habe ich in meinem neu eingerichteten Shop die entsprechenden Einstellungen im Backend unter Einstellungen\>Grundeinstellungen\>Storefront\>SEO/Router-Einstellungen und Einstellungen\>Grundeinstellungen\>Storefront\>Sitemap vorgenommen. Meine …/frontend/robots\_txt/index.tpl sieht aus wie diese hier und ist meines Erachtens korrekt so: [https://github.com/shopware/shopware/bl … /index.tpl](https://github.com/shopware/shopware/blob/5.0/themes/Frontend/Bare/frontend/robots%5C_txt/index.tpl) Problem: Meine [http://www.DOMAIN.de/robots.txt](http://www.DOMAIN.de/robots.txt) hat aber nur folgenden Eintrag: User-agent: \* Disallow: / Und meine [http://www.DOMAIN.de/sitemap.xml](http://www.DOMAIN.de/sitemap.xml) existiert überhaupt nicht. Laut Shopware 5 - Dokumentation generiert Shopware die robots.txt und sitemap.xml voll automatisch. Was mache ich denn falsch? Wie kann ich die beiden Dateien über das Backend neu generieren lassen? Ich nutze auf der gesamten Storefront SSL. Kann es etwas damit zu tun haben? Ich wäre sehr dankbar für Hilfe. Beste Grüße Sebastian ---
**Author:** ![drakon](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/drakon/32/7724_2.png) [@drakon](https://forum.shopware.com/u/drakon)\ **Post date:** [14. Oktober 2015 um 10:10 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/2 "2015-10-14T10:10:40Z")
Hallo, diese beiden Dateien werden von Shopware dynamisch erstellt, wenn Sie abgefragt werden. Bitte die vorhandene robots.txt löschen, dann funktioniert das auch. ---
**Author:** ![Sebastian\_WSE](https://avatars.discourse-cdn.com/v4/letter/s/77aa72/32.png) [@Sebastian\_WSE](https://forum.shopware.com/u/Sebastian_WSE)\ **Post date:** [14. Oktober 2015 um 12:03 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/3 "2015-10-14T12:03:52Z")
Hallo Andreas, danke für Deine Antwort. Ich habe die robots.txt gelöscht. Wenn ich nun mit Google Search Console die robots.txt teste, kommt folgendes: [quote] robots.txt fetch failed You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file.[/quote] Ist das denn normal bei dynamisch erstellten robots.txt? Viele Grüße Sebastian ---
**Author:** ![drakon](https://dub1.discourse-cdn.com/flex013/user_avatar/forum.shopware.com/drakon/32/7724_2.png) [@drakon](https://forum.shopware.com/u/drakon)\ **Post date:** [14. Oktober 2015 um 12:10 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/4 "2015-10-14T12:10:08Z")
Hallo, teste doch mal selbst im Browser: [http://deineDomain.tld/robots.txt](http://deineDomain.tld/robots.txt) um Fehler auszuschließen. ---
**Author:** ![Sebastian\_WSE](https://avatars.discourse-cdn.com/v4/letter/s/77aa72/32.png) [@Sebastian\_WSE](https://forum.shopware.com/u/Sebastian_WSE)\ **Post date:** [14. Oktober 2015 um 12:22 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/5 "2015-10-14T12:22:51Z")
Danke Andreas. Bei meiner Domain MIT www. vorab bekomme ich die gewünschte Rückmeldung, auch zur Sitemap. Bei meiner Domain OHNE www. vorab beinhaltet die robots.txt nur User-agent: \* Disallow: / Ist das normal so? ---
**Author:** ![Sebastian\_WSE](https://avatars.discourse-cdn.com/v4/letter/s/77aa72/32.png) [@Sebastian\_WSE](https://forum.shopware.com/u/Sebastian_WSE)\ **Post date:** [14. Oktober 2015 um 13:55 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/6 "2015-10-14T13:55:14Z")
Ich hab’s mir selbst beantwortet. Danke für Deine schnelle Hilfe Andreas. :thumbup: Viele Grüße Sebastian ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [2. April 2016 um 21:41 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/7 "2016-04-02T21:41:29Z")
Würde mich gerne kurz an das Thema dranhängen. Ich habe in SW 5.1.2 die index.tpl unter /meinTheme/frontend/robots\_txt angelegt, so wie dokumentiert. Der Inhalt entspricht der Datei auf [Github](https://github.com/shopware/shopware/blob/5.0/themes/Frontend/Bare/frontend/robots_txt/index.tpl) Die robots.txt Datei im root wird aber nicht generiert. Wie bekomme ich es zum Laufen?  ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [4. April 2016 um 16:38 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/8 "2016-04-04T16:38:55Z")
Hat sonst niemand das Problem, dass die robots.txt trotz des Templates auf dem FTP nicht erscheint? Wäre echt dankbar für einen kurzen Tipp. ---
**Author:** ![useg](https://avatars.discourse-cdn.com/v4/letter/u/df705f/32.png) [@useg](https://forum.shopware.com/u/useg)\ **Post date:** [4. April 2016 um 16:55 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/9 "2016-04-04T16:55:12Z")
> [@Andrew schrieb:](https://forum.shopware.com/profile/22074/Andrew "Andrew") > > Würde mich gerne kurz an das Thema dranhängen. > > Ich habe in SW 5.1.2 die index.tpl unter /meinTheme/frontend/robots\_txt angelegt, so wie dokumentiert. Der Inhalt entspricht der Datei auf [Github](https://github.com/shopware/shopware/blob/5.0/themes/Frontend/Bare/frontend/robots_txt/index.tpl) > > Die robots.txt Datei im root wird aber nicht generiert. Wie bekomme ich es zum Laufen?   Die /deinTheme/frontend/robots\_txt.index.tpl erbt genauso wie alle anderen Template-Dateien von Bare-Theme. Wenn du keine Änderung an der Datei vornehmen willst braucht du die auch nicht in deinem Theme drin haben. Die robots.txt wird nicht in das Hautverzeichnis deines Shops auf dem Servers geschrieben, sondern ist nur über die Url [www.dein-Shop.de/robots.txt](http://www.dein-Shop.de/robots.txt) abrufbar. Uwe ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [5. April 2016 um 20:08 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/10 "2016-04-05T20:08:49Z")
> [@useg schrieb:](https://forum.shopware.com/profile/5578/useg "useg") > > > [@Andrew schrieb:](https://forum.shopware.com/profile/22074/Andrew "Andrew") > > > > Würde mich gerne kurz an das Thema dranhängen. > > > > Ich habe in SW 5.1.2 die index.tpl unter /meinTheme/frontend/robots\_txt angelegt, so wie dokumentiert. Der Inhalt entspricht der Datei auf [Github](https://github.com/shopware/shopware/blob/5.0/themes/Frontend/Bare/frontend/robots_txt/index.tpl) > > > > Die robots.txt Datei im root wird aber nicht generiert. Wie bekomme ich es zum Laufen?  > >  Die /deinTheme/frontend/robots\_txt.index.tpl erbt genauso wie alle anderen Template-Dateien von Bare-Theme. > Wenn du keine Änderung an der Datei vornehmen willst braucht du die auch nicht in deinem Theme drin haben. > > Die robots.txt wird nicht in das Hautverzeichnis deines Shops auf dem Servers geschrieben, sondern ist nur über die Url [www.dein-Shop.de/robots.txt](http://www.dein-Shop.de/robots.txt) abrufbar. > > Uwe Danke für die Aufklärung, d.h. ich kann /robots\_txt.index.tpl wieder löschen, weil  **MeinTheme** von **Bare** -\> **Responsive**  auch diese Inhalte erbt? Nun hatte ich am Sonntag (03.04.) meinen Live-Gang und bisher wurde die robots.txt nicht aktualisiert. Über den Browser zeigt sie mir nur ``` User-agent: * ``` an. Ich möchte aber die anderen disallow Regeln darin haben, wie eben im Template hinterlegt. War ich nun also zu voreillig eine rebots.txt per Hand zu erstellen? Wann wird bei Abruf die Datei aktualisiert? ---
**Author:** ![useg](https://avatars.discourse-cdn.com/v4/letter/u/df705f/32.png) [@useg](https://forum.shopware.com/u/useg)\ **Post date:** [5. April 2016 um 20:21 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/11 "2016-04-05T20:21:18Z")
@Andrew‍ Wenn du die aus dem eigenem Theme löscht muss es die originale aus den Bare nehmen, wenn du natürlich Änderungen vornehmen willst, habe ich auch bei AGB und Widerruf usw. auf Disallow, musst du nicht die ganze index.tpl aus den Bare kopieren sondern kannst wie bei normalen tpl-Dateien auch vererben. Die Datei deine \_Theme//frontend/robots\_txt/index.tpl anlegen, falls noch nicht vorhanden, und folgenden Inhalt rein: ``` {extends file="parent:frontend/robots_txt/index.tpl"} {block name="frontend_robots_txt_disallows" append} Disallow: /impressum Disallow: /agb Disallow: /agb-und-kundeninformationen Disallow: /widerruf Disallow: /widerrufsbelehrung-muster-widerrufsformular Disallow: /datenschutzerklaerung {/block} ```   ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [6. April 2016 um 07:26 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/12 "2016-04-06T07:26:43Z")
@useg‍ Genau die Seiten möchte ich zusätzlich ausschließen. Nun ist die mein \_Theme//frontend/robots\_txt/index.tpl mit dem Inhalt angelegt, Cache geleert und Theme kompiliert.  Es kommt ein 404 Fehler, wenn ich [domain.de/robots.txt](http://domain.de/robots.txt) aufrufe. ---
**Author:** ![useg](https://avatars.discourse-cdn.com/v4/letter/u/df705f/32.png) [@useg](https://forum.shopware.com/u/useg)\ **Post date:** [6. April 2016 um 13:29 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/13 "2016-04-06T13:29:45Z")
> [@Andrew schrieb:](https://forum.shopware.com/profile/22074/Andrew "Andrew") > > @useg‍ > > Genau die Seiten möchte ich zusätzlich ausschließen. Nun ist die mein \_Theme//frontend/robots\_txt/index.tpl mit dem Inhalt angelegt, Cache geleert und Theme kompiliert.  > > Es kommt ein 404 Fehler, wenn ich domain.de/robots.txt aufrufe. Sende mir mal die URL von Shop und den Inhalt der „dein\_Theme/frontend/robots\_txt/index.tpl“ per PN, es kann doch nicht sein muss doch gehen. Und du hast jetzt nur im Bare die Original-Datei und jetzt die eigene in deinem Theme, im FTP-Hauptorder deines Shops hast du jetzt nichts drin. Uwe ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [6. April 2016 um 14:59 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/14 "2016-04-06T14:59:25Z")
@useg‍ Genau, Ausgangslage ist wie von dir beschrieben. Die PN ist gerade raus. ---
**Author:** ![useg](https://avatars.discourse-cdn.com/v4/letter/u/df705f/32.png) [@useg](https://forum.shopware.com/u/useg)\ **Post date:** [6. April 2016 um 15:14 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/15 "2016-04-06T15:14:17Z")
War gerade auf deinem Shop und es kann die Datei wirklich nicht finden 404 Fehler, > 404 Not Found > > nginx aber die sitemap.xml funktioniert. Versuche es mal kurzfristig mit dem original Responsiven Theme von Shopware und die immer Cache löschen und Theme kompilieren. Uwe ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [6. April 2016 um 21:05 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/16 "2016-04-06T21:05:28Z")
@useg‍ Klappt leider auch nicht - weiterhin 404 Fehler. Habe auch wirklich alle Caches geleert, Indizes neu aufgebaut und Theme kompiliert. ---
**Author:** ![useg](https://avatars.discourse-cdn.com/v4/letter/u/df705f/32.png) [@useg](https://forum.shopware.com/u/useg)\ **Post date:** [6. April 2016 um 21:16 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/17 "2016-04-06T21:16:05Z")
@Andrew‍ War gerade oben und es funktioniert doch jetzt mit deinem Template. Uwe ---
**Author:** ![Andrew](https://avatars.discourse-cdn.com/v4/letter/a/f19dbf/32.png) [@Andrew](https://forum.shopware.com/u/Andrew)\ **Post date:** [6. April 2016 um 21:23 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/18 "2016-04-06T21:23:25Z")
Ich habe für Nacht jetzt die per Hand erstellte robots.txt hochgeladen  ![Smile](https://europe1.discourse-cdn.com/flex013/uploads/shopware/original/1X/bac5f5766b6a20565a8fb995345b4e41d24daac0.png "Smile") Über die index.tpl wird weiterhin nichts ausgegeben ---
**Author:** ![schreibwaren-ihlee](https://avatars.discourse-cdn.com/v4/letter/s/5f8ce5/32.png) [@schreibwaren-ihlee](https://forum.shopware.com/u/schreibwaren-ihlee)\ **Post date:** [7. Mai 2016 um 08:08 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/19 "2016-05-07T08:08:05Z")
Hallo, klinke mich auch mal ein. Versuche soeben die sitemap.xml bei webmastertools einzubinden, dann kommt folgende Meldung von Google: > Bei Ihrer Sitemap handelt es sich offenbar um eine HTML-Seite. Bitte verwenden Sie stattdessen ein unterstütztes Format für Sitemaps. Wenn ich [shopdomain.de is available for purchase - Sedo.com](http://www.shopdomain.de/sitemap.xml) eingebe, bekomme ich die Sitemap angezeigt. Ebenso mit der robot.txt, die existiert anscheinend nicht. Google sagt es kann nicht darauf zugegriffen werden, wenn ich eingebe [shopdomain.de is available for purchase - Sedo.com](http://www.shopdomain.de/robot.txt), werde ich je nach seorputer einstellung entweder auf die Startseite geleitet oder es gibt einen 404 Fehler. Tommy ---
**Author:** ![Creatixx](https://avatars.discourse-cdn.com/v4/letter/c/c67d28/32.png) [@Creatixx](https://forum.shopware.com/u/Creatixx)\ **Post date:** [7. Mai 2016 um 08:29 UTC](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357/20 "2016-05-07T08:29:51Z")
Hi, eigentlich heißt die Datei robot **s**.txt!  [Nächste Seite](https://forum.shopware.com/t/probleme-mit-robots-txt-und-sitemap-xml/31357.md?page=2)