Robots.txt

Hallo Leute,

die sitemap.xml und robots.txt werden ja dynamisch erstellt. Jetzt ist aufgefallen dass sich bei uns die robots.txt nur rüber www.shopURL.de/Robots.txt aufrufen lässt. Beim Aufruf von www.shopURL.de/robots.txt wird ein 404-Fehler zurück gegeben da versucht wird die Datei robots.txt aus dem root-Verzeichnis auszugeben (die dort aber nicht existiert) .

Bei der Sitemap funktioniert es mit Groß- und Kleinschreibung. Könnt ihr bei euch ein ähnliches Verhalten feststellen?

 

Bei mir funktionieren beide Varianten, Groß- und Kleinschreibung bei der robots.txt,

Eigentlich bezieht es die robots.txt und auch die Sitemap aus den Template bzw. Theme.

Wie sieht es denn beim Demo-Shop von Shopware aus tritt es da auch auf?

Uwe

 

Genau das Verhalten habe ich auch.

 

Bei robots.txt steht nur

User-agent: *
Disallow: /

 

Bei Robots.txt steht:

 

User-agent: *



Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket


Allow: /widgets/emotion


Sitemap: https://url.de/sitemap.xml



Sitemap: https://url.de/sitemapMobile.xml

 

Die robots.txt muss immer kleingeschrieben werden. Nur die wird von z.B. Google abgefragt.

 

 

 

Ja. Das ist schön. GENAU das ist ja mein Problem. 

Jetzt kann man viel vermuten oder du nennt die Domain.

 

Und dann?

Habt Ihr zufällig im Haupfverzeichnis von Shopware eine r(R)obots.txt liegen die da nicht hingehört?

 

@upsidedown das ist eigentlich die Originale von Shopware.

Bei Robots.txt steht:

 

User-agent: *

Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket

Allow: /widgets/emotion

Sitemap: https://url.de/sitemap.xml

Sitemap: https://url.de/sitemapMobile.xml

 

Uwe 

Dann könnte man prüfen wer das Disallow: / sieht.

Weil so wird der Shop bei den Suchmaschinen verschwinden.