Magento 1.9 Migration - zu viele Kunden, zu viele Bestellungen = Abrüche und slow downs

Guten morgen,

hier tatsächlich “schon” meine 2te Frage zum Thema Migration. Die Überschrift verrät es bereits, wir müssen extrem viele Kunden und selbstverständlich auch Bestellungen aus einem Magento 1 Shop migrieren und stoßen an die Grenzen des Migrationstools. Diese äußern sich in Abbrüchen u.a. aufgrund von Speichermangel  und zunehmende Verlangsamung des Migrationsprozesses bereits in der Phase des Einlesens der Daten.

Wir könnten sicherlich mit Hardware (CPU und Speicher) und entsprechenden Freigaben (Speicher) im PHP Code / php.ini nachhelfen, nur lässt sich hier schwer abschätzen was wir tatsächlich benötigen. Ein heran tasten ala “+2 CPUs mehr +128 GB Speicher obenauf und laufen lassen” und nur um dann festzustellen, dass das Tool erneut  bei 50%/75%/80% aufgibt weil die Ressourcen noch nicht reichen, wird aus zeitlichen & aus praktikablen Gründen momentan nichts.

Wir haben gesehen, dass die Daten auch über die CLI importiert werden können. Das macht es dahingehend angenehmer, dass niemand permanent am Backend kleben und den Migrationsprozess beobachten muss um ggf. diesen bei Verlust der Verbindung diesen per Click nach dem letzten erfolgreich angefassten Datensatz zu lassen. Einzig fehlt uns im Commandozeilenmodus die Option zum Vorführen einer abgebrochenen Migration, da auch hier der Speicher schnell  knapp & damit die Anwendung beendet wird. Gibt es den diese / eine Möglichkeit dies doch zu tun?

Oder kann jemand einen anderen Weg empfehlen der vielleicht schon früher ansetzt. Zum Beispiel durch Partitionierung der Daten bei der Entnahme (grosses “-”), lieber noch beim Einspielen (ein dickes “+”) vielleicht ?  

Vielen Dank

Hi koche,

die Migration bei großen Shops sollte per CLI und im Produktiv-Modus durchgeführt werden, sodass, wie schon angesprochen, der Benutzer nicht die ganze Zeit im Admin eingeloggt sein muss. Die Speicherauslastung im Test- oder Dev-Modus kommt daher, dass der Kernel beim Starten immer auch den SQL-Logger mit setzt und somit es bei großen Datenmengen zu einem Memory-Fehler kommen kann.

Somit wechsel bitte in den Produktiv-Modus und migriere per CLI, dann sollte die Migration durchlaufen.

Gruß

Krispin

Hallo Krispin,

ich Danke Dir für Deine Antwort. Wir laufen bereits - und tut mir leid, dass hatte ich unabsichtlich „unterschlagen“ - im Production Modus. Wo müsste ich die SQL Logs den finden ? Im Log Ordner findet sich nichts, in der Datenbank hingegen läuft die Tabelle „swag_migration_logging“ tatsächlich voll. Bin ich da auf der richtigen Spur ? 

Vielleicht noch etwas zu den Dimensionen. Wir sprechen von weit mehr als 300.000 nur zum teil aktiven Kunden und knapp einer Million Bestellungen aus den letzten 10-12 Jahren.

viele Grüße

 

Hi koche,

okay, ein Memory-Problem im Production-Modus ist bis jetzt noch nicht aufgefallen.
Die Logs kannst du entweder im Admin im Tab “History” einsehen oder, wie du schon bemerkt hast, in der Tabelle “swag_migration_logging”.

Gruß

Krispin