Soweit ich weiß ist erst die 5.6 mit MySQL 8 kompatible bzw. auch getestet, es sollte daher entweder vorher getestet oder ein Update auf 5.6 durchgeführt werden.
Auch mit Shopware 5.5 wurde die Kompatibilität mit MySQL 8 hergestellt, aber nicht MariaDB getestet/erweitert? : https://docs.shopware.com/de/shopware-5-de/update-guides/update-guide-shopware-55#mysql-8-kompatibilitaet