Erhöhter Traffic seit Update - Bots & Bilddaten ...

 

Guten Morgen,

kurz nach dem Update auf Shopware 5 hat sich der Datenverbrauch für den Shop auf unserem Server beinahe verfünffacht.
Aus den Statistiken geht hervor, dass die Bots sehr viel Traffic erzeugen. Bzw. die Bilddaten unheimlich an Traffic-Volumen auffressen.
Gibt es eine Möglichkeit, die Originalbilder und Thumbnails für die bots zu sperren?
Da diese Bilder nicht in speziellen Verzeichnissen abgelegt werden ist das über die robots.txt eher schwer zu handeln, da ich den disallow auf keinen eindeutigen Pfad zuweisen kann …

Ich habe zwar schon eine ausführliche Disallow-Liste für allerhand Bots erstellt, die komplett nicht mehr drauf dürfen, bzw. den Seitenaufruf-Intervall für den Googlebot in der Search-Console hochgesetzt. Aber die Erfolge sind eher mäßig.

Bin gespannt. danke vorab …

Es ist doch möglich bestimmte Dateitypen zu sperren. Dadurch müsstet du Grafiken ja gut sperren können.

Was du dir aber auch überlegen könntest, wäre es die Bots auf die Nachtzeiten zu begrenzen und so die Häufigkeit der Besuche einzuschränken. Du kannst ja nie wissen, ob da nicht auch mal eine Bildersuche dabei ist, die dir viele Käufer verschafft.

1 „Gefällt mir“

Man könnte auch einfach ein CDN nutzen wie Incapsula oder Cloudflare. Dann sollte ein großteil der Daten durch das CDN ausgegeben werden (gerade Bilder).

Auserdem hast du auch einen schutz gegen „schlechte Bots“.

1 „Gefällt mir“

@Matthias321 schrieb:

Es ist doch möglich bestimmte Dateitypen zu sperren. Dadurch müsstet du Grafiken ja gut sperren können.

Was du dir aber auch überlegen könntest, wäre es die Bots auf die Nachtzeiten zu begrenzen und so die Häufigkeit der Besuche einzuschränken. Du kannst ja nie wissen, ob da nicht auch mal eine Bildersuche dabei ist, die dir viele Käufer verschafft.

Vielen Dank für deine antwort Matthias!

Grundsätzlich möchte ich ja, dass die kleineren Artikelbilder erfasst werden können. Ich möchte spezifisch die großen Bilder ausschließen. Daher ist mit Datei-Typen nicht zu arbeiten.

Wie kann ich die Bots auf einen nächtlichen Besuch zwingen?