Hallo zusammen,
wollte mal eure Meinung zur Messenger Queue / RabbitMQ hören.
Wir setzen aktuell Shopware 6.4.4.1 ein mit folgendem Setup:
PHP 7.4
MYSQL 8.0
DB Dedizierter Root Server mit 128GB RAM / 20 Cores
Appserver 1x Adminserver / 5x Webserver / 1x Worker (dort laufen nur Message Consume commands)
RabbitMQ 3.8.16
Produktanzahl in Shops
25 - 50.000 Varianten
An Serverpower mangelt es mMn nicht wirklich und was Software angeht sind wir auch ziemlich up2date (lediglich PHP 8 wäre noch besser, vermuten aber auch das dies das Problem nicht lösen wird).
Aktuell haben wir relativ viele Lagerbewegungen und die Message Queue ist IMMER sehr voll (80.000 Messages in einem Shop). Problem ist, dass wir aktuell im Schnitt 0.5 Messages pro Sekunde verarbeiten, was mMn recht wenig ist, egal ob wir ein message:consume oder 20 laufen haben.
Meine Vermutung ist das hier Mysql stark abbremst, denn an PHP Power kann es nicht mangeln (habe schon versucht auf den 5 webservern über das starten von Consumern die TX/s zu erhöhen, aber ohne erfolg, geht von 0,4/s auf 0,5/s).
Ist das Problem bei Shops > 1000 Produkte bekannt? Hat hier jemand noch Tipps?
Manchmal habe ich das Gefühl das der Fokus hier kaum auf größere Setups gelegt wird. Ich bin seit ca. 5-6 Jahren ein überwiegend glücklicher Entwickler mit Shopware, aber so langsam bin ich wirklich am verzweifeln was das Thema Indexierung angeht. Ursprünglich war ich ja ein Fan davon, zmd. in der Theorie, da es für extreme Lasten perfekt ist. Das merken wir auch bei einem Shop mit 400 Produkten bei dem 1000 Bestelleingänge in 5 Minuten kein Problem sind (und unser Zahlungsanbieter das Bottleneck war). Aber wenn Produkte einfach nicht up2date im Shop sind und man immer wieder die Message queue purgen muss um dann einen dal:refresh:index laufen zu lassen (da die queue wegen der langsamen Verarbeitung das Produkt vermutlich 4 mal enthält), hinterfrage ich aktuell wirklich die weitere Nutzung und schau mich von Zeit zu Zeit nach Alternativen um.
90% der umgesetzten Features sind übrigens sehr nice! Aber wenn sowas wie Bestandsanzeige von Haus aus nicht sauber funktioniert ist das schon doof und Shopware 6 ist nun schon seit fast 2 Jahren Live.