Robots.txt

Shopware 5 Allgemein
1

Hallo Leute,

die sitemap.xml und robots.txt werden ja dynamisch erstellt. Jetzt ist aufgefallen dass sich bei uns die robots.txt nur rüber www.shopURL.de/Robots.txt aufrufen lässt. Beim Aufruf von www.shopURL.de/robots.txt wird ein 404-Fehler zurück gegeben da versucht wird die Datei robots.txt aus dem root-Verzeichnis auszugeben (die dort aber nicht existiert) .

Bei der Sitemap funktioniert es mit Groß- und Kleinschreibung. Könnt ihr bei euch ein ähnliches Verhalten feststellen?

 

2

Bei mir funktionieren beide Varianten, Groß- und Kleinschreibung bei der robots.txt,

Eigentlich bezieht es die robots.txt und auch die Sitemap aus den Template bzw. Theme.

Wie sieht es denn beim Demo-Shop von Shopware aus tritt es da auch auf?

Uwe

 

3

Genau das Verhalten habe ich auch.

 

Bei robots.txt steht nur

User-agent: *
Disallow: /

 

Bei Robots.txt steht:

 

User-agent: *



Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket


Allow: /widgets/emotion


Sitemap: https://url.de/sitemap.xml



Sitemap: https://url.de/sitemapMobile.xml

 

4

Die robots.txt muss immer kleingeschrieben werden. Nur die wird von z.B. Google abgefragt.

 

 

 

5

Ja. Das ist schön. GENAU das ist ja mein Problem. 

6

Jetzt kann man viel vermuten oder du nennt die Domain.

 

7

Und dann?

8

Habt Ihr zufällig im Haupfverzeichnis von Shopware eine r(R)obots.txt liegen die da nicht hingehört?

 

@upsidedown das ist eigentlich die Originale von Shopware.

Bei Robots.txt steht:

 

User-agent: *

Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /listing
Disallow: /ticket

Allow: /widgets/emotion

Sitemap: https://url.de/sitemap.xml

Sitemap: https://url.de/sitemapMobile.xml

 

Uwe 

9

Dann könnte man prüfen wer das Disallow: / sieht.

Weil so wird der Shop bei den Suchmaschinen verschwinden.