S3 Migration im laufenden Betrieb

Hallo,

Kurz zu unserem Setting:
Wir laden täglich mehrere neue Produkte mit vielen Bilder (idR > 25) hoch. Es ist essentiell für unser Geschäft, dass dies täglich passiert und kontinuierlich neue Produkte angeboten werden.
Die Produkte sind idR Einzelstücke und bekommen nach Verkauf keinen neuen Bestand (außer Widerrufe, unbezahlte Vorkasse usw.)
Einmal verkauft werden die Produkte selbst insb. noch für Finance benötigt. Die Bilder werden idR nicht mehr benötigt.

Unser Vorhaben:
Da die Bilder viel Speicherplatz auf dem Server einnehmen eine Migration weg von SW5 (wenn es mal so weit ist) einfacher sein sollte, wollten wir die Bilder in einen S3 Bucket schieben und dann von AWS ausliefern.

Unsere Probleme:

  1. Der S3 Adapter im laufenden Betrieb funktioniert für uns nicht, da sobald eine Mediendatei migriert wurde, das Bild im Shop blank ist - bzw. wenn die Medien URL angepasst ist alle unmigrierten Bilder blank sind
  2. In Richtung S3 sind konstant nur ca. 3 req/sek zu verzeichnen, wodurch die Migration hochgerechnet mehrere Tage dauert.

Wir dachten nun - hey wir machen einen Klon, migrieren von dort und switchen nach der Migration.

Neues Problem:
Alle Produkte die zwischen Migrationsstart und Migrationsende im Produktiv-Shop inseriert wurden, sind natürlich noch nicht zu S3 migriert. Wir müssten also auf Produktiv nochmal eine komplette Migration laufen lassen und wären für die gesamte Migrationsdauer ohne die Bilder der „neuen“ Produkte - was diese nicht verkaufsfähig und damit das ganze Vorhaben damit unwirtschaftlich macht.

Fragen, die bei uns herumschwirren:

  • Ist diese Migration irgendwie zu beschleunigen - die 3req/sek kommen uns sehr langsam vor?
  • Ist es irgendwie in Shopware möglich bspw. Bilder von ausgewählten oder inaktiven Produkten im Bulk zu löschen und somit die zu migrierende Menge eben zu minimieren und dadurch die Migration zu beschleunigen?
  • Hat jemand andere Ideen/Erfahrungen zu dem Thema, was wir ggf. bisher nicht auf dem Schirm haben?

Danke und viele Grüße,
Lukas