Import CSV Shopware 5 >1000 Artikel

Shopware 5 Administration
1

Guten Tag,

ich habe ein Importproblem. Mittlerweile konnten wir es eingrenzen.

Beim Importieren einer CSV Datei laufen im Apache folgende Fehler auf:
www.xxx.com:443 5.XX.XX.XX - - [01/Apr/2016:14:37:56 +0200] „BAN / HTTP/1.1“ 405 4775 „-“ „Shopware/5.1.3“
www.xxx.com:443 5.XX.XX.XX - - [01/Apr/2016:14:37:56 +0200] „BAN / HTTP/1.1“ 405 4775 „-“ „Shopware/5.1.3“
www.xxx.com:443 5.XX.XX.XX - - [01/Apr/2016:14:38:04 +0200] „BAN / HTTP/1.1“ 405 4775 „-“ „Shopware/5.1.3“
www.xxx.com:443 5.XX.XX.XX - - [01/Apr/2016:14:38:04 +0200] „BAN / HTTP/1.1“ 405 4775 „-“ „Shopware/5.1.3“

Standardmäßig ist folgendes aus Sicherheitsgründen NICHT in PHP erlaubt:
show_source, highlight_file, apache_child_terminate, apache_get_modules, apache_note, apache_setenv, virtual, dl, disk_total_space, posix_getpwnam, posix_getpwuid, posix_mkfifo, posix_mknod, posix_setpgid, posix_setsid, posix_setuid, posix_uname, proc_nice, openlog, syslog, pfsockopen, system, shell_exec, passthru, popen, proc_open, exec

Kann sich diese „Ban 405“ Fehler jemand erklären? Ist dies eventuell ein Shopware Problem.
Ich werde nun auch mal das neue Importmodul von Shopware testen.

**25 Artikeln mit je 15 Varianten haben funktioniert. Alles darüber läuft ewig und scheint sich intern „aufzuhängen“

Grüße
Tobi**

2

So wie es auschaut hat dein Provider die Firewall in Apache laufen 

mod_evasive

müsste ausgeschatet werden.

 

Viele Grüße
Alex
www.upware.de

Magento & Shopware-Hosting vom Spezialisten

1 „Gefällt mir“
3

Hi, danke für die Antwort.
Ich werde diese mal an den Hoster weitergeben und mich nochmal melden!

 

Grüße und schönen Sonntag

4

Guten Morgen,

momentan ist mod_evasive schon ausgeschaltet.

Momentan aktiviert sind:
actions alias auth_basic authn_file authz_default authz_groupfile authz_host authz_user autoindex cache cgi deflate dir env expires fcgid headers include mime mod-spamhaus negotiation php5 proxy proxy_http reqtimeout rewrite setenvif ssl suexec suphp unique_id

Kann etwas davon stören?

Grüße
Tobi
 

5

schau mal ob Du Dein eigene IP ( Vom Server / Hosting)  als vertauenswürdig einstellen kannst bei der Firewall oder Fail4ban
Am besten funktioniert auch der import wenn PHP beim Import auf FPM-Apache  ( ich habe 5.6.19 ) steht mit Fast-cgi hatte ich immer Probleme.

Bilder-Upload.eu - share DEINE Bilder

Das ist ein Screenshot von meinen Einstellungen.
wichtig ist noch die PHP

max_input_time

max_execution_time

einzustellen auf 7200sec 

 

Gruss

1 „Gefällt mir“
6

Wir haben selbiges Problem beim Import von Artikeln (Altes Import/Export Modul).

100 - 300 Artikel funktionieren, bei ca. 500 - 600 hängt sich alles auf und der Shop ist für eine Weile nicht erreichbar.
Die Werte für max_execution_time und max_input_time liegen bei uns jeweils bei 300s. Sollte man diese Werte in Verbindung mit dem alten Import/Export Tool wirklich auf solch hohe Werte setzen?

Auszug aus dem Apache Log:

[eigene Server IP] - - [06/Apr/2016:12:55:10 +0200] „BAN / HTTP/1.1“ 404 1992 „-“ „Shopware/5.1.2“

und

[eigene Server IP] - - [06/Apr/2016:12:55:30 +0200] „BAN / HTTP/1.1“ 503 1395 „-“ „Shopware/5.1.2“

kommen diese BAN Einträge von Shopware oder Fail2Ban? Fail2Ban haben wir zwar installiert aber aktuell komplett deaktiviert.

 

Beste Grüße

1 „Gefällt mir“
7

Wir haben seit geraumer Zeit ebenfalls Probleme mit einem selbstgeschriebenen Import auf Basis der Shopware-API. Bei uns stellt sich das Problem aber noch kurioser dar, da der Import alle 4 Stunden läuft, die Probleme aber i.d.R. nur ein Mal am Tag auftreten (morgens um 6 - nicht gerade die „Stoßzeit“ des Shops).

Auch wir haben die BAN-Requests, allerdings ist es bei uns (wenn die Probleme auftreten) wie folgt:

der Importer läuft beispielsweise um 5:45 Uhr los. Wir erhalten direkt bei den ersten Artikeln im Apache-Protokoll 500er-Fehler für die BAN-Requests. Später kommen dann 503er (dann ist der Shop auch nicht erreichbar, weil die PHP-Prozesse „hängen“ und das Prozesslimit erreicht ist). Nach einiger Zeit normalisiert sich die Situation aber „von selbst“ und der Import läuft ohne Fehler weiter (für die BAN-Requests kommen dann 200er oder 404er zurück).

 

Ich vermute ein Problem in Shopwares HTTP-Cache (siehe Understanding the Shopware HTTP Cache ) - hier werden auf jeden Fall offenbar die BAN-Requests gefeuert.
Leider bringt mich das bisher noch keinen Schritt weiter was die Behebung des Problems angeht - aber vielleicht bringt das ja hier jemanden auf eine weitere Spur - bei fail2ban oder ipTables könnt ihr denke ich aufhören zu suchen, da der Request nicht über einen externen Weg reinkommt.

 

Viele Grüße,
Christian

1 „Gefällt mir“
8

Hey und Guten Tag,

ich wollte nur fix sagen, dass sich das Problem für mich erledigt hat.

Ich konnte das ganze durch das neue Shopware Importmodul erledigen. Der Import klappt nun in wenigen Minuten bei 5000 Artikeln.

Grüße und danke für die Hilfe
 

9

Hallo, 

unter Umständen hilft es auch kurzfristig das ProxyPruning im Http Cache zu deaktivieren. Dann muss der Cache danach einmal von  Hand geleert werden, wir wissen aber dann, dass es wirklich daran lag. 

Schönen Gruß, 

Daniel 

10

Hallo Daniel,

danke für den Tipp - ich werde das bei Gelegenheit mal testen. Ich bin aber neugierig: was genau macht das ProxyPruning? Die Beschreibung im Backend (“Das automatische Leeren des Caches aktivieren.”) ist ja doch etwas knapp.

Viele Grüße,
Christian

11

Hallo zusammen!

Ich wollte hier noch einmal eine Rückmeldung geben. Der Grund für unsere Probleme war allerdings etwas anders, als vermutet. Die Idee, dass es mit dem Cache zu tun hat war zwar richtig, allerdings war der Grund schlicht und ergreifend, dass der Cache “überlastet” war. Ein Leeren des Caches über das Backend hat offenbar nicht mehr funktioniert, es kam aber keine Rückmeldung.
Das Leeren des Caches über die Kommandozeile hat mehrere Minuten gedauert - es müssen sich also extrem viele Dateien angesammelt haben. Vermutlich hat der Aufruf im Backend also nichts gemeldet, weil er einfach in einem Timeout o.Ä. “untergegangen” ist. Seitdem haben wir keine Probleme mehr, lassen den Cache allerdings jetzt 1x pro Nacht per Cron über das Shell-Skript leeren. Das ginge natürlich auch im PHP über unseren Importer, allerdings denke ich, dass wir so auf jeden Fall auf der sicheren Seite sind.

Viele Grüße,
Christian