Performance md5 Pfade

Liebes Forum :slight_smile: :slight_smile:

im Mediaordner werden die Dateien in einem md5-Pfad gespeichert, um die Performance zu erhöhen. Ich überlege, das abzuschalten, weil mein Shop nicht soo riesig ist.

Ab wann ist denn die Aufteilung in mehrere Ordner sinnvoll / ab wann geht die Performance merklich runter (Dateianzahl, Ordnergröße oder was sonst noch eine Rolle spielt) ?

Liebe Grüße

Kerstin :slight_smile:

Hier mal Grafiken für Ext3, Ext4, BTRFS und XFS

Im Beitrag ist noch eine PDF verlinkt, mit mehr Informationen

Hier ein Beitrag mit Datei-Limitierungen einzelner Dateisysteme:

Aber das hängt auch sehr viel von der Hardware ab. Laut den Grafiken braucht EXT4 bei ner S-ATA Platte ca. 3 Sekunden um 5000 Dateien aufzulisten. Bei ner SSD halbiert sich die Zeit. EXT4 skaliert konsistent, sprich doppelte Dateienanzahl, doppelte Zeit. BTRFS verhälkt sich gleich. NTFS (nicht in den Grafiken vertreten) macht bei ca 10000 Dateien merklich schlapp was die Performance betrifft. Alles in allem finde ich die Aufspaltung des Media Ordners in die MD5 Struktur rein aus IO Performance-Sicht nicht mehr Sinnvoll als alles in einem Ordner zu lassen. Dafür könnte es andere Vorteile mit dem MD5-Verfahren geben welche sich auf die Performance auswirken, diese hätten dann aber nicht direkt was mit dem Dateisystem sondern eher mit der Softwarearchitektur oder verwendeten Libs/Herangehensweisen zu tun (IMHO)

 

Danke. So ganz schlau werde ich daraus nicht. So exakt wird es glaube ich auch nicht gesagt.

Zur Zeit habe ich ca. 30.000 Bilddateien (inclusive Thumbnails) und der Speicherbedarf ist ca. 3 GB. Das möchte aber durchaus noch erweitern, dann werden es vielleicht 40.000 Files mit 4 GB oder 50.000 mit 5 GB.

Es werden damit glaube ich keine wirklichen Grenzen überschritten. Aber würde die Performance schlechter werden, wenn alles in einem Verzeichnis liegt ?

Liebe Grüße

Kerstin

 

Ich _vermute_ die Performance würde dich nicht soo arg beinträchtigen, bei nem Hosting-System wohlgemerkt, bzw du würdest vermutlich den Unterschied nicht bemerken. Daher eine Gegenfrage: Warum möchtest du vom MD5-„Standard“ wechseln? (Use-Case) ?

Ich mag ihn nicht, den Standard. Man hat keine Übersicht über die Dateien und man kann überhaupt nichts mehr direkt im Ordner machen. So eine Struktur müllt mit der Zeit zwangsläufig zu.

Kann jemand die Vermutung vielleicht untermauern ?

Hallo,

du kannst den Modus ja umstellen. Das wäre nicht das Problem. Nur sehe ich da auch den großen Nutzen nicht unbedingt.

In den Ordner manuell soll man ja nichts machen. Das soll über API oder direkt den Media Manager verwaltet werden. Änderungen in den Ordnern bekommt Shopware ja dann gar nicht mit.

Generell sollte es für die Arbeit also egal sein, welche Struktur man nutzt.

Sebastian