Die URLs von Blätterseiten in den Kategorieübersichten enthalten einen Page-Parameter (z.B. pfad/?order=topseller&p=2). Wird, so wie von Shopware empfohlen, in der robots.txt ein Disallow: */? eingetragen, ignoriert der Crawler die Folgeseiten, was zu einem schlechten Crawling-Ergebnis führt. Die Suchmaschine erkennt die Produkte auf diesen Seiten als nicht als „crawl-würdig“. Was kann ich dagegen machen /was empfiehlt Shopware?
wer lesen kann … sorry feierabend
Verständnisfrage:
Wenn man eine ordentliche Struktur hat wie:
Onlineshop
-Kategorie 1
—Unterkategorie von Kategorie 1
-Kategorie 2
Usw.
Hier wird doch wenn man Produkte ganz unten anhängt (Unterkategorie von Kategorie 1) auch die Produkte in der darüberliegende Kategorie angezeigt.
Also wenn man in der Oberkategorie beispielsweise 10 Seiten hat, hat man in den Unterkategorien weniger Seiten. Oder sogar nur eine. Kommt darauf an wieviel Produkte man in einem Listing anzeigen lässt.
Habt ihr vielleicht alle Produkte in einer Kategorie und keine Unterkategorie oder mehrere Oberkategorien? Vielleicht hat hier Google ein Limit wieviel Pages in einer Kategorie das Crawling nutzt?
Oder anders ausgedrückt: wir betreiben unseren damalige Shopware 5 und seit längerem Shopware 6 Shop hiermit und haben kein Problem alle Seiten crawlen zu lassen:
User-agent: *
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /widgets/
Disallow: /_profiler/
Disallow: /bundles/
Sitemap: https://www.webseite.de/sitemap.xml
Link: https://www.webseite.de/llms.txt
Und alle Seiten werden indexiert.
Unsere Paginierung URL z.B. ?page=3
Das schreibt Google:
Zudem soll ein häufiger Fehler sein, dass Produkte zwar über die Shop-Suche gefunden werden können, aber nicht über Kategorie-Links erreichbar sind. Google verlässt sich beim Crawling nicht auf die Eingabe in ein Suchfeld.
Wo steht auf den Shopware Seiten (docs ?) geschrieben, dass Disallow: */? empfohlen wird? Bitte Quelle angeben.
PS: ich habe es gefunden: Shopware 6 - Erstellung der robots.txt
In der Überschrift steht: „In diese kannst Du beispielsweise folgenden Text einfügen“
Warum:
Disallow: */impressum$
Disallow: */datenschutz$
Disallow: */agb$
kann ich auch nicht nachvollziehen.
Vielleicht war dies von Shopware ein schlecht gewähltes Beispiel oder man sollte darunter ein Standard / empfohlene robots.txt noch dokumentieren.
Entweder auf dieser Seite ein Kommentar hinterlassen, oder sofern sich hier niemand von Shopware meldet und du einen kommerziellen Shopware Plan hast diese Frage auf https://account.shopware.com/ stellen.
Ja, dein Beispiel entspricht unserer Struktur. Da sehe ich nicht das Problem. Ich verstehe einfach nicht, welchen Sinn es macht, das Disallow: */? im Shopware-Kontext zu benutzen. Ich kenne das aus andere CMS-Konfigurationen, wo Aufrufe der User mit Tracking-Parametern aus dem Index herausgehalten werden sollen. Das trifft aber bei uns nur bedingt zu. Die Shopware-Parameter, die ab der zweiten Seite an die URL angehangen werden (z.B. /?order=topseller&p=2) müsste man halt umständlich wieder zulassen. Das würde ich ja machen, wenn ich sicher wüsste, dass SW das nicht anders sieht.
Die Shopware-Parameter, die ab der zweiten Seite an die URL angehangen werden, müsste man halt umständlich wieder zulassen.
So umständlich ist das gar nicht. Google nimmt bei der robots.txt die längste passende Regel, ein Allow kann also das allgemeine Disallow für einen Parameter wieder aufheben, z.B. Disallow: /*? plus Allow: /*?p= und Allow: /*&p=. Damit sind die Blätterseiten wieder erreichbar. Nur kommen über das &p= dann auch die Blätterseiten jeder Sortierung rein, darum würde ich order= möglichst gar nicht in den Kategorie-Links haben.