# robots.txt
**URL:** https://forum.shopware.com/t/robots-txt/44799
**Category:** Programmierung
**Created:** [26. März 2017 um 16:39 UTC](https://forum.shopware.com/t/robots-txt/44799 "2017-03-26T16:39:17Z")
**Posts on this page:** 7
**Page:** 1
### Author:  [@promomarket](https://forum.shopware.com/u/promomarket)
#### Post date: [26. März 2017 um 16:39 UTC](https://forum.shopware.com/t/robots-txt/44799/1 "2017-03-26T16:39:17Z")
Hallo kann mir wer bitte hier weiterhelfen.
(habe hier selber noch nie was gemacht an der txt. da über all steht das diese angepasst passt von shopware ist.
bei google schreibt er mir beim test okay hin - so super jetzt habe ich das problem ich möchte wie empfohlen
diese sachen von google nicht listen
```
Disallow: /defektes-produkt Disallow: /kontaktformular Disallow: /versand-und-zahlungsbedingungen Disallow: /rueckgabe Disallow: /widerrufsrecht Disallow: /widerrufsformular Disallow: /agb Disallow: /newsletter Disallow: /datenschutz Disallow: /impressum
```
so wann ich jetzt die robots.txt ansehe im Hauptverzeichnis steht nur eines drinnen
User-agent: \*
Disallow: /
so wann ich jetzt das jetzt so hier wie oben einpflege in die txt. dann funktioniert das ?? oder muss ich da noch was dran hängen.?
falls wer noch paar tips hat was nicht gefunden werden sollte bitte bitte schreiben würd mir sehr weiterhelfen.
vielen herzlichen dank für eure zeit und Arbeit
---
### Author:  [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)
#### Post date: [26. März 2017 um 17:00 UTC](https://forum.shopware.com/t/robots-txt/44799/2 "2017-03-26T17:00:22Z")
Listet gar nix:
```
User-agent: *
Disallow: /
```
Listet alles ausser:
```
User-agent: *
Disallow: /defektes-produkt
Disallow: /kontaktformular
Disallow: /versand-und-zahlungsbedingungen
Disallow: /rueckgabe
Disallow: /widerrufsrecht
Disallow: /widerrufsformular
Disallow: /agb
Disallow: /newsletter
Disallow: /datenschutz
Disallow: /impressum
```
---
### Author:  [@promomarket](https://forum.shopware.com/u/promomarket)
#### Post date: [26. März 2017 um 17:29 UTC](https://forum.shopware.com/t/robots-txt/44799/3 "2017-03-26T17:29:29Z")
User-agent das ist ja mein Stammverzeichnis. muss ich dann User-agent:\* rauslöschen weil sonst kann er ja nichts finden oder?
---
### Author:  [@brettvormkopp](https://forum.shopware.com/u/brettvormkopp)
#### Post date: [26. März 2017 um 17:43 UTC](https://forum.shopware.com/t/robots-txt/44799/4 "2017-03-26T17:43:44Z")
User-agent ist nicht dein Stammverzeichnis. User-agent bedeutet hier grob übersetzt „Suchmaschine“ und das Sternchen, bedeutet „alle“. So wissen dann alle Suchmaschinen, dass Sie es beachten sollen. Kannst ja auch bestimmte Sachen nur auf Bing sperren und auf Google nicht.
---
### Author:  [@promomarket](https://forum.shopware.com/u/promomarket)
#### Post date: [27. März 2017 um 07:45 UTC](https://forum.shopware.com/t/robots-txt/44799/5 "2017-03-27T07:45:39Z")
danke brettvormkopp
es läuft - denke ich mal gg habe schon die ersten ergebinse von google heute in der Craling statistik. crolingfehler keine
nur noch eine frage an dich aber ich denke mal das passt schon so.
unter crawling in google habe ich den reiter Sitemaps - wann ich hier meine hinzufügen möchte schreibt er mir hin “Sitemap enthält URLs, die von der “robots.txt”-Datei blockiert werden.” als warnung - reiter fehler keine.
das ist weil ich wie oben die seiten durch die robot.txt nicht crawlen lasse oder?
tut mir leid das ich so viel frage aber habe noch nicht viel erfahrung mit shop’s.
---
### Author:  [@dogado\_shops](https://forum.shopware.com/u/dogado_shops)
#### Post date: [27. März 2017 um 07:50 UTC](https://forum.shopware.com/t/robots-txt/44799/6 "2017-03-27T07:50:13Z")
Hi,
die Sitemap generiert Shopware automatisch - in Deiner robots.txt kannst Du diese direkt hinter User-agent: \* hinterlegen.
Beispiel:
User-agent: \*
Sitemap: [http://www.deinshop.de/sitemap.xml](http://www.deinshop.de/sitemap.xml)
---
### Author:  [@promomarket](https://forum.shopware.com/u/promomarket)
#### Post date: [27. März 2017 um 07:59 UTC](https://forum.shopware.com/t/robots-txt/44799/7 "2017-03-27T07:59:24Z")
Super also dann Sieht das so aus jetzt (ps in zwei tagen soll mein SLL draufkommen dann einfach auf Https ändern oder)
Dann noch frage ganz unten habe ich einen eintrag für pdf die werden empfholen rauszunehmen stimmt das so?? Habe denn eintrag dort rauskopiert
Und Angeblich sollte man auch die Hersteller nicht crowln - aber das verstehe ich nicht wirklich weil das hilft (ein wenig) wann wer nach marken sucht
User-agent: \*
Sitemap: [http://www.promoprintstore.at](http://www.promoprintstore.at)
Disallow: /defektes-produkt
Disallow: /kontaktformular
Disallow: /versand-und-zahlungsbedingungen
Disallow: /rueckgabe
Disallow: /widerrufsrecht
Disallow: /widerrufsformular
Disallow: /agb
Disallow: /newsletter
Disallow: /datenschutz
Disallow: /impressum
Disallow: /\*.pdf$