Hoven
21. Oktober 2016 um 11:47
1
Hallo Leute,
die sitemap.xml und robots.txt werden ja dynamisch erstellt. Jetzt ist aufgefallen dass sich bei uns die robots.txt nur rüber www.shopURL.de/Robots.txt aufrufen lässt. Beim Aufruf von www.shopURL.de/robots.txt wird ein 404-Fehler zurück gegeben da versucht wird die Datei robots.txt aus dem root-Verzeichnis auszugeben (die dort aber nicht existiert) .
Bei der Sitemap funktioniert es mit Groß- und Kleinschreibung. Könnt ihr bei euch ein ähnliches Verhalten feststellen?
useg
21. Oktober 2016 um 15:01
2
Bei mir funktionieren beide Varianten, Groß- und Kleinschreibung bei der robots.txt,
Eigentlich bezieht es die robots.txt und auch die Sitemap aus den Template bzw. Theme.
Wie sieht es denn beim Demo-Shop von Shopware aus tritt es da auch auf?
Uwe
Genau das Verhalten habe ich auch.
Bei robots.txt steht nur
User-agent: *
Disallow: /
Bei Robots.txt steht:
User-agent: *
Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket
Allow: /widgets/emotion
Sitemap: https://url.de/sitemap.xml
Sitemap: https://url.de/sitemapMobile.xml
beat
21. April 2017 um 06:13
4
Die robots.txt muss immer kleingeschrieben werden. Nur die wird von z.B. Google abgefragt.
Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis („root“) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Website für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit de...
Ja. Das ist schön. GENAU das ist ja mein Problem.
beat
21. April 2017 um 13:47
6
Jetzt kann man viel vermuten oder du nennt die Domain.
useg
22. April 2017 um 08:13
8
Habt Ihr zufällig im Haupfverzeichnis von Shopware eine r(R)obots.txt liegen die da nicht hingehört?
@upsidedown das ist eigentlich die Originale von Shopware.
Bei Robots.txt steht:
User-agent: *
Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket
Allow: /widgets/emotion
Sitemap: https://url.de/sitemap.xml
Sitemap: https://url.de/sitemapMobile.xml
Uwe
beat
22. April 2017 um 08:49
9
Dann könnte man prüfen wer das Disallow: / sieht.
Weil so wird der Shop bei den Suchmaschinen verschwinden.