Im Backend gibt es unter “System” eine Bot-Liste. Was hat es denn damit auf sich? Muss die irgendwie gepflegt werden? Was passiert mit Bots, die nicht in der Liste stehen?
Hallo, bin eben auch darüber gestolpert und wundere mich. Unsere Bot -Liste ist ziemlich voll. Soll diese gelehrt werden? Oder ist es sogar wichtig die Einträge stehen zulassen bzw. zu Ergänzen? Vielen Dank.
Lasst sie unbedingt drin! Kleinster Nebeneffekt bei Leerung ist, dass ihr im Shop Backend plötzlich unglaublich viele Besucher angezeigt bekommt, die aber komischerweise nichts kaufen. Es gibt unheimlich viele Bots mit den unterschiedlichsten Kennungen (User Agent). Die Liste müsste eher regelmäßig aktualisiert werden als geleert.
1 „Gefällt mir“
… und genau das wäre meine Anschlussfrage gewesen: gibt es dazu Pläne? Das könnte man doch per AutoUpdate durchführen lassen, so eine regelmässige Aktualisierung. Was sagt denn SW AG dazu? LG, AS
Eigentlich gehört so etwas zu den administrativen Aufgaben des Shop-Administrators. Es gibt nicht DIE Blacklist für Bots und ich sehe Shopware nicht in der Rolle, einen Online-Dienst für Botlists anzubieten. Regelmäßig mal die access Logs auf Auffälligkeiten durchsuchen und ggf. die Liste aktualisieren ist eigentlich Rüstzeug des Admins, zumal die Liste auch pro Shop und Land sehr individuell ausfallen kann.
[quote=„tschersich“]Eigentlich gehört so etwas zu den administrativen Aufgaben des Shop-Administrators. Es gibt nicht DIE Blacklist für Bots und ich sehe Shopware nicht in der Rolle, einen Online-Dienst für Botlists anzubieten. Regelmäßig mal die access Logs auf Auffälligkeiten durchsuchen und ggf. die Liste aktualisieren ist eigentlich Rüstzeug des Admins, zumal die Liste auch pro Shop und Land sehr individuell ausfallen kann.[/quote] Eigentlich ja auch kein Problem, die Liste selbst zu pflegen. Bevor ich das allerdings mache, habe ich im ersten Posting die Frage gestellt: „Was passiert mit Bots, die nicht in der Liste stehen?“ Hintergrund: Ich schaue jeden Tag in die logs und errorlogs und finde ziemlich viele Fehler 500 (vom 17.09. - 20.09: 340 Einträge). Darunter befindet sich sowas wie Baidu und verschiedene andere User-Agents/Browser wie z.B. - Mozilla/5.0 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html) - Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1 - Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0.1 Als Referrer werden ganz normale Seiten aus unserem Shop angezeigt, die alle einwandfrei funktionieren, zumindest wenn ich draufklicke. Irgendwo muss ich anfangen, die Ursache herauszufinden. Wer weiß, wieviel Umsatz uns dadurch verloren geht. Wenn jemand noch eine andere Idee hat, an was die Fehler liegen könnten, her damit. 
Hallo, auf Besucher oder Umsatz hat die Botliste ja keinen Einfluss. Dadurch erkennt Shopware einfach nur Crawler und Bots. In dem Falle werden dann z.B. die Zugriffe nicht als Besucher und nicht als Seitenzugriffe gezählt. Ohne Botliste hättest du dann ggf. nach einem Besuch des GoogleBots zig Tausende Zugriffe mehr… PS: Leer sein darf das Feld nicht! Ich würde auch nicht empfehlen dort Bots rauszunehmen. Solltest du einmal enorm Höhe Seitenzugriffe haben, so kannst du am Server prüfen, welche Bot das verursacht hat und den dann in der Botliste ergänzen.
[quote=“simplybecause”] Ich schaue jeden Tag in die logs und errorlogs und finde ziemlich viele Fehler 500 (vom 17.09. - 20.09: 340 Einträge). Darunter befindet sich sowas wie Baidu und verschiedene andere User-Agents/Browser wie z.B. - Mozilla/5.0 (compatible; Baiduspider/2.0; http://www.baidu.com/search/spider.html) - Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1 - Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0.1 Als Referrer werden ganz normale Seiten aus unserem Shop angezeigt, die alle einwandfrei funktionieren, zumindest wenn ich draufklicke. Irgendwo muss ich anfangen, die Ursache herauszufinden. Wer weiß, wieviel Umsatz uns dadurch verloren geht.[/quote] Warum solltet ihr denn Umsatz verlieren, wenn ein Spider oder Bot auf den Shop zugreift? Das sind ja eben keine Kunden. Die 500er könnten dadurch verursacht werden, dass die Bots die falschen Bereiche abklappern, wofür man z.B. mit POST Parameter übergeben müßte, sie aber nur ein GET ohne Parameter aufrufen. Da wäre es aber interessant, ob es ganz bestimmte URLs sind oder die, die keiner weiteren Logik zum Aufruf bedürfen. Das kannst Du auch nachstellen, indem Du mal über einen User Agent Switcher genau diesen User Agent einträgst und die selben Seiten über den Browser aufrufst, die der Spider gecrawlt hat. Die Botliste ist letztlich auch kein Schutz für den Webserver, sondern ändert nur die Zählweise der Seitenaufrufe und Besucher in Shopware. Willst Du Dich vor bestimmten Bots schützen, musst Du über RewriteCond und RewriteRule den Bots eine 403 (forbidden) schicken.