# Robots.txt
**URL:** https://forum.shopware.com/t/robots-txt/40719
**Category:** Allgemein
**Created:** [21. Oktober 2016 um 11:47 UTC](https://forum.shopware.com/t/robots-txt/40719 "2016-10-21T11:47:16Z")
**Posts on this page:** 9
**Page:** 1
### Author:  [@Hoven](https://forum.shopware.com/u/Hoven)
#### Post date: [21. Oktober 2016 um 11:47 UTC](https://forum.shopware.com/t/robots-txt/40719/1 "2016-10-21T11:47:16Z")
Hallo Leute,
die sitemap.xml und robots.txt werden ja dynamisch erstellt. Jetzt ist aufgefallen dass sich bei uns die robots.txt nur rüber [www.shopURL.de/Robots.txt](http://www.shopURL.de/Robots.txt) aufrufen lässt. Beim Aufruf von [www.shopURL.de/robots.txt](http://www.shopURL.de/robots.txt) wird ein 404-Fehler zurück gegeben da versucht wird die Datei robots.txt aus dem root-Verzeichnis auszugeben (die dort aber nicht existiert) .
Bei der Sitemap funktioniert es mit Groß- und Kleinschreibung. Könnt ihr bei euch ein ähnliches Verhalten feststellen?
---
### Author:  [@useg](https://forum.shopware.com/u/useg)
#### Post date: [21. Oktober 2016 um 15:01 UTC](https://forum.shopware.com/t/robots-txt/40719/2 "2016-10-21T15:01:45Z")
Bei mir funktionieren beide Varianten, Groß- und Kleinschreibung bei der robots.txt,
Eigentlich bezieht es die robots.txt und auch die Sitemap aus den Template bzw. Theme.
Wie sieht es denn beim Demo-Shop von Shopware aus tritt es da auch auf?
Uwe
---
### Author:  [@upsidedown](https://forum.shopware.com/u/upsidedown)
#### Post date: [20. April 2017 um 20:49 UTC](https://forum.shopware.com/t/robots-txt/40719/3 "2017-04-20T20:49:47Z")
Genau das Verhalten habe ich auch.
Bei robots.txt steht nur
```
User-agent: *
Disallow: /
```
Bei Robots.txt steht:
```
User-agent: *
Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket
Allow: /widgets/emotion
Sitemap: https://url.de/sitemap.xml
Sitemap: https://url.de/sitemapMobile.xml
```
---
### Author:  [@beat](https://forum.shopware.com/u/beat)
#### Post date: [21. April 2017 um 06:13 UTC](https://forum.shopware.com/t/robots-txt/40719/4 "2017-04-21T06:13:57Z")
Die robots.txt muss immer kleingeschrieben werden. Nur die wird von z.B. Google abgefragt.
> **[Robots Exclusion Standard](https://de.wikipedia.org/wiki/Robots_Exclusion_Standard)**
>
> Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis („root“) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Website für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit de...
---
### Author:  [@upsidedown](https://forum.shopware.com/u/upsidedown)
#### Post date: [21. April 2017 um 07:52 UTC](https://forum.shopware.com/t/robots-txt/40719/5 "2017-04-21T07:52:50Z")
Ja. Das ist schön. GENAU das ist ja mein Problem.
---
### Author:  [@beat](https://forum.shopware.com/u/beat)
#### Post date: [21. April 2017 um 13:47 UTC](https://forum.shopware.com/t/robots-txt/40719/6 "2017-04-21T13:47:18Z")
Jetzt kann man viel vermuten oder du nennt die Domain.
---
### Author:  [@upsidedown](https://forum.shopware.com/u/upsidedown)
#### Post date: [21. April 2017 um 17:35 UTC](https://forum.shopware.com/t/robots-txt/40719/7 "2017-04-21T17:35:38Z")
Und dann?
---
### Author:  [@useg](https://forum.shopware.com/u/useg)
#### Post date: [22. April 2017 um 08:13 UTC](https://forum.shopware.com/t/robots-txt/40719/8 "2017-04-22T08:13:27Z")
Habt Ihr zufällig im Haupfverzeichnis von Shopware eine r(R)obots.txt liegen die da nicht hingehört?
@[upsidedown](https://forum.shopware.com/profile/26142/upsidedown) das ist eigentlich die Originale von Shopware.
> Bei Robots.txt steht:
>
>
>
> User-agent: \*
>
> Disallow: /compare
> Disallow: /checkout
> Disallow: /register
> Disallow: /account
> Disallow: /note
> Disallow: /widgets
> Disallow: /listing
> Disallow: /ticket
>
> Allow: /widgets/emotion
>
> Sitemap: [https://url.de/sitemap.xml](https://url.de/sitemap.xml)
>
> Sitemap: [https://url.de/sitemapMobile.xml](https://url.de/sitemapMobile.xml)
>
>
Uwe
---
### Author:  [@beat](https://forum.shopware.com/u/beat)
#### Post date: [22. April 2017 um 08:49 UTC](https://forum.shopware.com/t/robots-txt/40719/9 "2017-04-22T08:49:43Z")
Dann könnte man prüfen wer das Disallow: / sieht.
Weil so wird der Shop bei den Suchmaschinen verschwinden.