HTTP-Proxy Cache - täglicher Artikelimport/-update

Hallo Community, ich habe Fragen zum HTTP-Proxy Cache. Auf einer Webseite werden sehr viele Artikel (über 100.000 Artikel) aufgelistet. Diese stammen aus mehreren Shops. Die Artikel selbst werden täglich aktualisiert, gelöscht oder neue hinzugefügt. Da in einer Kategorie ziemlich viele Artikel sein können, geht es ohne Cache einfach nicht. Andernfalls kann es mehrere Sekunden daueren bis eine Seite aufgebaut ist. Meiner Meinung nach gibt es mehrere Möglichkeiten: [list] [*] Den Cache nachts leeren und dann per Crawler wieder aufbauen. Problem: Es sind durch die Filter, Seitenanzahlen, Sortierung zu viele Seiten. Der Crawler schafft es nicht schnell genug. [/*] [*] Den Cache überhaupt nicht leeren. Durch den Import muss der Cache irgendwie invalidiert werden.[/*] [*] Ohne Cache die Seiten live aufbauen lassen. Dann müsste man die Server-Hardware aufrüsten. Das ist aus meiner Sicht der schlechteste Ansatz.[/*][/list] Was sind Eure Meinungen? Wo sollte man ansätzen? Den Crawler optimieren? Mehr Hardware-Power? Den Cache invalidieren? Wenn ja, wie? Vielen Dank im Voraus! Grüße Mathias