robots.txt

Hallo kann mir wer bitte hier weiterhelfen. 

(habe hier selber noch nie was gemacht an der txt. da über all steht das diese angepasst passt von shopware ist.

bei google schreibt er mir beim test okay hin - so super jetzt habe ich das problem ich möchte wie empfohlen 

diese sachen von google nicht listen

 Disallow: /defektes-produkt Disallow: /kontaktformular Disallow: /versand-und-zahlungsbedingungen Disallow: /rueckgabe Disallow: /widerrufsrecht Disallow: /widerrufsformular Disallow: /agb Disallow: /newsletter Disallow: /datenschutz Disallow: /impressum

so wann ich jetzt die robots.txt ansehe im Hauptverzeichnis steht nur eines drinnen

User-agent: *
Disallow: /
 

so wann ich jetzt das jetzt so hier wie oben einpflege in die txt. dann funktioniert das ?? oder muss ich da noch was dran hängen.? 

falls wer noch paar tips hat was nicht gefunden werden sollte bitte bitte schreiben würd mir sehr weiterhelfen.

vielen herzlichen dank für eure zeit und Arbeit

Listet gar nix:

User-agent: *
Disallow: /

 Listet alles ausser:

User-agent: *
Disallow: /defektes-produkt
Disallow: /kontaktformular
Disallow: /versand-und-zahlungsbedingungen
Disallow: /rueckgabe
Disallow: /widerrufsrecht
Disallow: /widerrufsformular
Disallow: /agb
Disallow: /newsletter
Disallow: /datenschutz
Disallow: /impressum

 

1 Like

User-agent das ist ja mein Stammverzeichnis. muss ich dann User-agent:* rauslöschen weil sonst kann er ja nichts finden oder?

User-agent ist nicht dein Stammverzeichnis. User-agent bedeutet hier grob übersetzt „Suchmaschine“ und das Sternchen, bedeutet „alle“. So wissen dann alle Suchmaschinen, dass Sie es beachten sollen. Kannst ja auch bestimmte Sachen nur auf Bing sperren und auf Google nicht.

1 Like

danke brettvormkopp

es läuft - denke ich mal gg habe schon die ersten ergebinse von google heute in der Craling statistik. crolingfehler keine 

nur noch eine frage an dich aber ich denke mal das passt schon so. 

unter crawling in google habe ich den reiter Sitemaps - wann ich hier meine hinzufügen möchte schreibt er mir hin “Sitemap enthält URLs, die von der “robots.txt”-Datei blockiert werden.” als warnung - reiter fehler keine.

das ist weil ich wie oben die seiten durch die robot.txt nicht crawlen lasse oder? 

tut mir leid das ich so viel frage aber habe noch nicht viel erfahrung mit shop’s.

Hi,

die Sitemap generiert Shopware automatisch - in Deiner robots.txt kannst Du diese direkt hinter User-agent: * hinterlegen.

Beispiel:

User-agent: *
Sitemap: http://www.deinshop.de/sitemap.xml
 

Super also dann Sieht das so aus jetzt  (ps in zwei tagen soll mein SLL draufkommen dann einfach auf Https ändern oder)

Dann noch frage ganz unten habe ich einen eintrag für pdf die werden empfholen rauszunehmen stimmt das so?? Habe denn eintrag dort rauskopiert

Und Angeblich sollte man auch die Hersteller nicht crowln - aber das verstehe ich nicht wirklich weil das hilft (ein wenig) wann wer nach marken sucht 

User-agent: *

Sitemap: http://www.promoprintstore.at

Disallow: /defektes-produkt

Disallow: /kontaktformular

Disallow: /versand-und-zahlungsbedingungen

Disallow: /rueckgabe

Disallow: /widerrufsrecht

Disallow: /widerrufsformular

Disallow: /agb

Disallow: /newsletter

Disallow: /datenschutz

Disallow: /impressum

Disallow: /*.pdf$