Für alle die noch auf diesen alten Beitrag stoßen:
Es lag an einem Plugin, dass die Fonts nachläd; also zuerst mal alle Plugins durchtesten.
Weiterhin lags am Server; also auch Server optimieren.
juha_90 Hier: (oder in der Browser-Konsole: rechte Maustaste Element untersuchen) kann man nachsehen:
http://www.webpagetest.org