Extrem SW Migration - 10 Tage und mehr

Shopware 6 (German)
1

Leute, so langsam bin ich auch mit meinem Latein am Ende. Worum geht es?

Wir haben hier ein Kundenprojekt der Extreme - also die Migration (noch nicht die Finale) von SW5 auf SW6. Der Shop hat ca. 630.000 Kunden, 910.000 Bestellungen und ca. 1,3 Millionen Dokumente. Die Migration „Kunden und Bestellungen“ wurde am 5. August um 8 Uhr gestartet. Das Extreme, sie läuft heute am 15. August immer noch - siehe Screenshot. Die Migration ist bis jetzt nicht abgebrochen, sie läuft stabil durch wenn auch extrem langsam. Diese erste Migration habe ich übrigens über das Backend gestartet, damit ich hier vernünftig die Zuordnungen machen kann. Der Shop hat viele individuelle Bestellstatus, Anreden etc.

2024.08.15-08_44_06
2024.08.15-08_44_061156×523 25.7 KB

(Hinweis: Die Migration der Medien läuft erst seit dieser Woche. Allein die Migration der Kunden und Bestellungen hat 7 Tage gedauert.)

Nun, der SW5 und SW6 Shop laufen zusammen auf einem eigenen Server. Der SW6 Shop hat für Migration 32GB bekommen (mehrere Tests über CLI haben das ergeben). Der Server (Hetzner) selber hat 128GB zur Verfügung.

Wie ist was eingestellt?

Die SW5 Umgebung:

- Shopware Version 5.7.17 
- Shopware Migration Connector Version 2.0.1
- PHP 7.4.33
- memory_limit 4GB

- MySQL mysql:5.7.27 (im Docker)
- thread_stack=256K
- group_concat_max_len=2048
- query_cache_size=128M
- max_allowed_packet=16M
- tls_version=TLSv1.2

Die SW6 Umgebung:

- Shopware Version 6.6.3.1
- Migrations-Assistent Version 13.0.0
- PHP 8.2.22
- memory_limit 32GB

- MySQL bitnami/mysql:8.0.37-debian-12-r2 (im Docker)
- default-time-zone = 'Europe/Berlin'
- max_allowed_packet = 1G
- net_read_timeout = 600
- net_write_timeout = 600
- #wait_timeout = 600
- #interactive_timeout = 600
- #innodb_buffer_pool_size = 8G
- #tmp_table_size = 1G
- #max_heap_table_size = 1G
- #max_connections = 1000

(Update vom Migrations-Assistent noch nicht durchgeführt weil die Migration noch läuft)

Nun die Sache ist jetzt zudem noch so, dass dies die erste Migration bei diesem Projekt ist. Die finale Migration steht noch aus. Problem ist, wir können bei der finalen Migration den Shop nicht 14-Tage offline nehmen. Zu einem kommt es zu massiven Umsatzverlusten, zum anderen hat der Shop noch 3 Ladengeschäfte deren Kassen mit dem Shop verbunden sind und Anbindungen zu Marktplätzen wie Amazon und eBay. Das ist unter solchen Voraussetzungen nicht ganz einfach.

Wir haben die Problematik auch bei Shopware angefragt. Hier nur diese Infos bekommen:

  • schneller als über CLI migrieren geht nicht
  • die Datenbank ist ein wichtiger Faktor für die Schnelligkeit der Migration
  • kein dev-Modus aktivieren, denn das würde zu etlichen loggins führen und starke Performance Verluste verursachen bei der Migration
  • FALLS DIE MIGRATION ABBRICHT Backup erstellen und Migrationstool updaten und den Rest der Migration über die Message Queue laufen lassen

Die große Frage ist nun, wie können wir das irgendwie schneller machen? Vielleicht hat aber auch jemand ähnliche Erfahrungen und hat ggf. noch ein paar Tipps oder Hinweise?

Vielleicht kann auch jemand uns mit helfen? Soll natürlich nicht umsonst sein :slight_smile:

2

In Shopware 5 würde ich ein Tool schreiben welches direkt die DB-Einträge ausliest und aufbereitet.
Anschliessend die Daten an die Shopware 6 Api schicken. (limit vorher erhöhen)
Für Produkte splitte ich folgende Prozesse und gebe ihnen spezielle UUIDs die beim Re-upload nicht wieder überschrieben werden, nach dieser Reihenfolge:

  • Category erstellen
  • Manufacturer erstellen
  • Properties erstellen
  • Products erstellen
  • Products-Properties zuordnen
  • Media hochladen
  • Product-Media zuordnen

Ich denke mal die Dokumenten-Neu-Erstellungen fressen Zeit.

3

Medien und Dokumente könnte man auch nur in der DB anlegen und dann über die Message Queue im Hintergrund laden lassen.

4

Damit konnte ich mich bisher aus Zeitmangel noch nicht befassen. Da würde ich jetzt mind. 2 … 3 Wochen dran sitzen bis ich das programmiert habe. Aktuell habe ich keine Ahnung wie die Api funktioniert und kann daher nix aus dem Hut zaubern :frowning:

5

Ich habe das oben noch ergänzt, die Übertragung der Medien läuft erst seit dieser Woche. Das Grundproblem sind die allein die Kunden und Bestellungen die 7 Tagen gebraucht haben.

6

Bei den Medien die Thumbnails nicht generieren lassen im Shop: Plugin Frosh webP und BunnyCDN

7

Eventuell sind die Dokumente das Problem - da diese bei den Bestellungen ja auch geladen werden. eventuell mal zum Test das harcoded im Migrationstool entfernen.

8

Die Idee ist gut. Bin für Tipps wo wie dankbar :slight_smile:

9

Bin gespannt ob es was bringt.

10 
private function appendAssociatedData(array $orders): array
    {
        $orderEsd = $this->getOrderEsd();
        $orderDetails = $this->getOrderDetails();
        $orderDocuments = $this->getOrderDocuments();

custom/plugins/SwagMigrationAssistant/Profile/Shopware/Gateway/Local/Reader/OrderReader.php

würde da mal das getOrderDocuments auskommentieren

1 „Gefällt mir“
11

Mal so kurzes Feedback:

Als erstes kam uns der Gedanke, es wäre eine gute Idee wenn man bei einer extrem großen Migration irgendwie auch ein Datum angeben könnte, ab wann er Bestellungen übernehemn soll. Denn, nicht jeder Shopbetreiber will alten Mist mit in den neuen SW6 Shop übertragen.

Angesicht der Tatsache, dass eine Migration von über 10 Tagen für einen großen Shop auch mind. 10 Tage offline bedeutet und somit auch Umsatzverlust, haben wir uns entschieden den SW5 zu verkleinern. Migrationen die mehrere Tage laufen sind für den Inhaber des Shops einfach nicht akzeptabel.

Allen anderen die auch SW5 Migrationen mit großen Shops machen wollen/müssen wünsche ich viel Erfolg :slight_smile:

12

Vll noch ein Tip. Bei manueller Migration immer ein „komisches“ Datum nehmen. Dann sieht man in der Datenbank schneller und kann auf diese Einträge reagieren. So mache ich das bei Bildern wenn später eine grössere Variante vom Bild das kleinere von der Migration überschreiben soll.

1 „Gefällt mir“
13

Du das mache ich relativ oft bei Projekten so, nicht nur bei Shopware :slight_smile:

1 „Gefällt mir“