Deaktivieren des HTTP Cache scheint zu funktionieren. Danke für den Stups in die richtige Richtung.
Meiner Meinung nach sollte das in Zukunft automatisch passieren, wenn der Wartungsmodus angeschaltet wird. Sonst glaubt man kener hat Zugriff, in Wirklichkeit, kann aber jeder die Seiten sehen, an denen gearbeitet wird,da der Cache ja standardmäßig aktiviert ist.