CSV Import bricht immer ab

Hallo zusammen,

ich wollte nun schon verschiedene kleine Änderungen per CSV Datei hochladen - doch meistens bricht der Import ab. 

Zunächst einmal fällt auf, dass das Hochladen oder schon verarbeiten der Datei SEEEHHHRR langsam voran geht.

Ich dachte, dass es an der Größe der Datei liegt (4 MB - wobei das ja heutzutage auch nicht Megagross ist).
Doch eben bricht es auch bei einer Dateigröße von 800kb ab. :frowning:

Woran kann das liegen? Hat jemand eine Idee oder Hilfe?

Grüße
Rob

 

Passt das Matching bei allen produkten? Sind alle information in der .CSV vorhanden? 

Matching sollte passen, da ich eine Export genommen habe und dann die Änderungen vorgenommen und sie wieder hochgeladen habe (einzelne Produktnummern habe ich geändert). 

Ich habe allerdings nur die vorderden Spalten (id, parent_id, product_number) in der Datei gelassen - eben auch vonwegen der Dateigröße. Ist das falsch? Soll ich alle Spalten wieder hochladen? 

Moin,

ich kann das selbe Problem berichten. Um es gelinde zu sagen ist es einfach nur nervig… wir haben uns nun etwas beholfen indem wir das ganze Stückweise hochladen, damit haben wir die wenigsten Fehler oder Abbrüche.

Wir hatten auch den Versuch gemacht „Nur“ id, parent_id sowie product_numer drin gelassen, vielleicht mag ich mich täuschen aber er hat auch da sehr lange gebraucht sogar teils länger als wenn wir alles nochmal hochladen.

Moin, 

leider wird es mit dem CSV-Import immre schlimmer - nun bricht er gleich ab und meldet “Request failed with status code 504”. 
Nicht mal gaaanz kleine Dateien nimmt er mehr an. :frowning:

Das gibt es doch gar nicht - was mache ich falsch? 
Kann ich irgendwie das Modul zurücksetzen? Oder am Server irgendwas zurücksetzen/Cache löschen? 

Wäre für jeden Tipp dankbar. 

Danke & Gruß

 

Das Problem kann ich gerade gut nachempfinden. Ich versuche über den Import aktuell customFields zu befüllen. Wenn der Upload mal durchgeht, habe ich nun mit der Version 6.3.3.1 das Problem das er einfach keine Änderungen in den Feldern übernimmt obwohl import keine Fehler wirft (es ist eh schon nicht hilfreich das customFields als json in ein Feld geschrieben werden müssen)… Also der Import ist aktuell wirklich “schwierig” damit vernünftig zu arbeiten bzw. in meinem Fall unnütz…

@ShopwareRob‍

das klingt für mich gerade eher nach einem Problem des Webservers… Memory limit? runtime? hast du mal in die Log-Files geschaut?

1 „Gefällt mir“

CustomFields können aktuell noch nicht importiert werden.

@Done: Ja schade, dass der Import noch nicht rund läuft - leider auch manche anderen Sachen (z.B. Stapelverarbeitung). Naja, hoffen wir weiter. 

Ja, Memory Limit habe ich irrsinnig hoch gesetzt - dann lief es plötzlich durch. Danke!

Moin,

gibt es hier eigentlich bei anderen Nutzern auch immer noch Probleme. Ich muss ca. 40-50.000 Artikel importieren. Dabei bricht der Import immer an unterschiedlichen Stellen mit dem Error Code 504 ab. Der Import ist auch wirklich langsam.

Gruß Jörn

Aktuell ist der Import noch nicht sehr performant - für den Moment kann man diese nur gesplittet hochladen. Welche Größe „in Ordnung“ ist kann nur durch Herantasten herausgefunden werden, ist sehr individuell.

Wir arbeiten aber bereits an Optimierungen der Import Schnittstelle - verfolgt dazu die Roadmap:

Da hier aber viel zu tun ist kann es noch ein paar Monate dauern.

Danke für die schnelle aber eher nicht so aufbauende Antwort :wink:

Guten Morgen,

es ist bei mir jetzt leider so, dass der Import immer genau 50 Zeilen aus der CSV importiert und dann abbricht (Fehler 504). Ich habe dann einfach immer die ersten 50 Zeilen gelöscht und wieder probiert. Somit sollte das wohl nicht an den Daten liegen sondern am Import selber. Hat jemand eine Idee was ich hier mal verändern könnte? PHP Version ist 7.4.3 getestet mit FastCGI und FPM.

Gruß Jörn

schau doch mal in den Logs nach, was genau für ein Error ausgegeben wird…

Moin, also das ist wohl ein Speicherüberlauf in httpdocs/vendor/doctrine/dbal/lib/Doctrine/DBAL/Driver/PDOStatement.php on line 258

Was steht an Memory zur Verfügung, und wie hoch ist die max_execution_time? Aktuell glaube ich kannst du die Werte nur hochsetzen, was anderes fällt mir auch spontan nicht ein.

RAM hat der 64 GB, läuft aber auch nur SW drauf
max_execution_time 120s
memory_limit 128 M

Hey,

memory_limit 128 M

das ist viel zu wenig. Minimum sind schon 256MB, ich empfehle dir aber 512MB oder 1GB.

LG Andre

Moin Andre, danke für die schnelle Nachricht. Habe das mal auf 1G hochgesetzt. Bricht immer noch mit Error 504 nach 50 Zeilen ab, dafür gibt es keinen Fehler mehr im der PHP log.

Hast Du vielleicht noch eine Idee?

Danke Gruß Jörn

Unser Import bricht leider auch immer ab.

Version 6.4.4.0
In vorherigen Versionen war das kein Problem.

Als Profil verwenden wir „Standardprofil Produkt“.

Die Datei ist maximal 1MB groß.
Wir haben es bereits mit Splitten versucht.

Der Import einer frisch exportierten Datei klappt ebenfalls nicht.
Wir vermuten, dass es mit der neuen Version zusammenhängt?

Fehlermeldung im Firefox:
can’t access property „offset“, e is undefined

Fehlermeldung im Chrome:
Cannot read properties of undefined (reading ‚offset‘)

System:
PHP 7.4.23

@klickpark.de wie viele Zeilen schafft der Import denn bei Euch? Oder startet der gar nicht? Die Größe der Datei spielt bei mir keine Rolle, habe schon etliche versucht…