Wie lange dauert es, Prüfsummen zu löschen?

Hey Ihr Lieben!

Versuch Nr. 1 bei der Migration von SW5 zu SW6 ist gescheitert. :frowning:

Jetzt lösche ich gerade die Prüfsummen, um morgen nochmal einen neuen Versuch zu starten.

Kann mir eventuell jemand sagen, wie lange das dauern kann, die Prüfsummen zu löschen?

Der Migrationsvorgang hat etwa 3 Stunden gedauert, der Assistent hat ca. 3.4 Milionen Daten gelesen und beim Schreiben dann plötzlich „pausiert“, weil angeblich keine Internetverbindung mehr bestand. Internet war da, Vorgang ließ sich aber nicht mehr fortsetzen. Dauert das Löschen der Prüfsummen jetzt genau so lange? Kann ich an der Datenbank erkennen, ob sich da überhaupt was tut?

Der Kreisel dreht sich da jetzt seit etwa einer 3/4 Stunde. Kann das richtig sein?

LG, Nicole

Im Prinzip nur wenige Sekunden. Die Prüfsummen liegen ja nur in einer Datenbank.

Hatte ähnliches Problem. Bislang ohne weitere Lösung. Welche MariaDB oder mysql Version nutzt du und welche SW 5 und 6 Versionen?

Ob die Prüfsummen / Checksum zurückgesetzt wurde, kannst du meinem Wissen nach auch in der Datenbank unter „swag_migration_mapping“ und „Checksum“ kontrollieren. Die Spalte Checksum müsste dann halt leer sein, wenn alles zurückgesetzt wurde.

Vielleicht dazu noch ein kleiner Nachtrag:

Ich hatte bei meinen vielen Migrationen auf ein SW5 Shop mit ähnlichen Datensätzen. Die dortige DB war über 5GB groß. Auch hier ging der Migrationsvorgang über mehere Stunden und blieb dann einfach ohne Fehlermeldung stehen. Auch der Shopware Support konnte sich hier keinen Reim darauf machen. Nach etlichen Versuchen mit weiteren SW6 Testsystem haben wir herausgefunden, dass MariaDB der Verursacher war.

Der neue SW6 war mit MariaDB anhelegt - eigentlich so auch von Shopware empfohlen. Wir konnten sehen, dass beim Migrationsvorgang zwar alle Daten aus dem SW5 Quellsystem ausgelesen wurden und im Migrations-Mapping geschrieben wurden, aber SW6 schrieb diese Daten nicht in das System. Nachdem wir dann in einem umständlichen Prozess die Datenbank von MariaDB auf MySQL8 umgestellt hatte, funktionierte auch der Migrationsvorgang mit dem millionen Daten.

Diese Erkenntnis hat uns viel Zeit und Nerven gekostet. Für die Migration muss auch die Datenbank angepasst werden. Buffer, Timeouts etc… spielen eine wesentliche Rolle. Alles Infos die man von Shopware nicht bekommt. Vielleicht ist es ja bei euch ähnlich.

Danke, @R4M , du hattest mir da in meinem Thread auch schon zu geholfen, warte noch auf Rückmeldung unseres Hosters. Weißt du zufällig noch die ehemalige MariaDB Version? Muss dann eigentlich auch die alte DB des SW5 Shops vorher ebenfalls auf MySQL8 umgestellt werden?

Viele Grüße

Bei uns war es die Version MariaDB 10.3.39

Nein

Danke für Eure Antworten. Ich habe gestern einfach „übermigriert“, lief auch durch bis heute morgen um ca. 9 Uhr. Allerdings fehlten dann die Bilder. Habe jetzt nochmal neu angefangen mit frischem Webspace, neuer Datenbank, einer älteren SW6 Version (6.4.20.2) und PHP 8.1 (Tipps hier aus dem Forum) und hoffe, dass das jetzt einwandfrei durchläuft.
Dazu noch eine Frage: Habe jetzt MariaDB 10.11 als Datenbank-Version, das ist ja die Empfehlung für den SW 6.6. Habe erst später gesehen, dass für SW6.4 MariaDB 10.3.22 (oder höher - wie viel höher?) empfohlen wird. Downgrade nicht möglich, nur Upgrade. Soll ich lieber abbrechen und nochmal von vorne anfangen, oder kann das klappen? MariaDB scheint ja nicht das Problem gewesen zu sein. Durchgelaufen ist das ganze ja.

Ich habe bei einem recht großen Kundenprojekt entschieden, dass wir alles noch einmal unter MySQL8 neu aufsetzen. Ist zwar viel Zeit verloren gegangen, aber eben mit MariaDB schlechte Erfahrung gemacht. Die Frage müsst ihr euch leider selber beantworten :slight_smile:

Danke. Bisher läuft es gut. Ich lasse es mal laufen. Wenn nicht, morgen nochmal von vorn. Ich bekomme gerade Übung. :wink:

Lief natürlich gar nicht. :pleading_face:

Jetzt habe ich seit gestern Abend eine Migration laufen mit MySQL8 und beide Shops (alt und neu) auf der gleichen PHP Version (7.4.3). Aber das ist jetzt so unfassbar langsam! Von den 3.4 Millionen Daten, die er lesen soll, ist er jetzt nach ziemlich genau 12 Stunden gerade mal bei knapp über 10%. Ist das normal, dass das so langsam ist? Das ging an den beiden anderen Tagen mit MariaDB doch deutlich schneller.

Also der SW6 sollte mind. mit PHP 8.2 laufen. Arbeitsspeicher sollte ggf. für die Migration auch höher angesetzt werden. Ich hatte eine Migration mal über CLI, da musste ich auf 32GB einstellen damit alles lief - leider kein Scherz. Und die DB auf dem SW6 System muss auch optimiert werden. Da sind viele Schrauben zu drehen bis alles durchläuft.

Ohje, Du machst mir ja Hoffnung. :astonished:

Ich warte mal ab. Der aktuelle SW6 ist die Version 6.4.20.2, weil er mir bei der Version 6.6 leider meine Bilder nicht mit migriert hat. Dafür sollte laut Shopware PHP 7.4.3 ausreichen. Noch läuft es (liest immer noch), inzwischen bei etwa 16%. Wenn’s wieder nix wird, nehme ich die Variante ohne Bilder und lade die Bilder nach. Mal schauen.

Zumindest bricht die Migration nicht ab. Ich hätte da mind. SW6 mit Version 6.5.8.7 installiert und PHP 8.2 (ist besser als 7.4.x). Je nach Größe vom Shop braucht man wirklich Geduld.

grobe Richtwerte für Migration größerer Projekte:

PHP:

  • Version 8.2.15
  • max_execution_time 120
  • memory_limit 4GB … 16GB
  • pm.max_children 10
  • Zend Opcache active
  • opcache.memory_consumption 256M
  • PCRE-Jit active

MySQL:

  • MySQL Version 8.0,36
  • query_cache_size=128M
  • max_allowed_packet=256M

Danke für den Tipp. Ich hoffe, ich brauche ihn nicht. :pray:

Aktuell liest der Shop immer noch (inzwischen seit ca. 36 Stunden) und ist bei etwa 76%. Wenn das Lesen durchläuft und er anschließend auch noch schreibt, bin ich guter Hoffnung, dass das doch noch klappt. Beim letzten Mal (zu hohe Datenbankversion für die ältere SW6 Version) hat er nur gelesen und dann abgebrochen. Das wäre jetzt doof, wenn er so lange schon zum Lesen braucht.

Das ist schon extrem lange. Da bin ich der festen Überzeugung, dass es an den PHP- und MySQL-Einstellungen liegt. Ich hatte hier einen Shop mit änderlichen hohen Datenvolumen, da hat das Ganze ca. 4 Stunden gedauert. Da hoffe ich mal, dass ihr die Migration nicht mehrmals machen müsst.

Ich vermute wie @R4M dass da grundsätzlich was an der Server-Shopware-Konfiguration was nicht passt / optimal ist.

Ich muss Dich nochmal was fragen. Das die Nummer oben nicht funktioniert hat, wirst Du Dir ja sicher schon gedacht haben. Ich habe es jetzt gestern einmal über die Konsole probiert. Die Basics hat er auch super gelesen und geschrieben. Bei den Produkten hat er alles gelesen und lief dann beim Schreiben ins Memory Limit. Die Migration wird mir aber sowohl im Shop als auch in der Konsole noch als laufend angegeben. Kann ich sie irgendwie in der Konsole fortsetzen? Wenn ich noch einmal „php bin/console migration:migrate products“ eingebe, bekomme ich nur die Meldung, dass bereits eine Migration läuft.

Im Backend könnte man die Migration übernehmen, sofern sie auch wirklich noch läuft.

Sodele, ich wollte mal eine Rückmeldung geben. Nachdem ich jetzt eine ganze Woche lang mit Try&Fail alles mögliche ausprobiert habe, scheint es jetzt endlich zu funktionieren. Produkte sind alle da, Kunden und Bestellungen auch, Bilder auch. :pray:
Finally: MariaDB 10.11, PHP 8.2

Jetzt geht’s ans Bearbeiten. Wenn ich dann alles soweit fertig habe, lass ich die Migration nochmal durchlaufen, damit die neuen Bestellungen seit heute übernommen werden, und das war’s dann, oder?

Ob ihr mit der Migration fertig seid, kann ich nicht beantworten :slight_smile: