Mail Host ist dein Mailserver, Standard Port sollte passen, Verbindungsprefix bleibt erstmal leer, Verbindungs-Auth auch leer.
SSL ist veraltet und hätte auch andere Ports. Wenn du TLS vernünftig konfiguriert hast, kannst du evtl TLS testen. Imho wirds nicht benötigt solange sich alles am selben Server abspielt
Sperrst du dich evtl selbst aus mit fail2ban oder ähnlichem?
Normalerweise sollte der Shop wegen so was noch verfügbar sein.
Wegen Spam: du müsstest mal nachschauen, warum der im Spam landet. Wenn das auf deiner Kiste passiert, sollten die Mailheader auskunft geben.
Es sollte dem Spamfilter eigentlich egal sein ob der per Auth oder mail() eingeliefert wird.
Auf jeden Fall überprüfen, ob die DNS Einträge auch alle passen
Zum Testen würde ich auf jeden Fall erst mal ohne Verschlüsselung probieren.
Funktioniert denn der Mail-Server ansonsten korrekt? Es müsste eigentlich auch in der Mail-Server Log der genaue Grund für den Abruch auftauchen