Jeder TrueNAS-Admin, der schon mal eine Performance-Diskussion mit einem Hardware-Lieferanten, einem Software-Hersteller oder einem Geschäftsführer geführt hat, kennt die Szene: jemand liest eine beeindruckende IOPS-Zahl vor, jemand anderes zieht ein Gegen-Benchmark aus der Tasche, und am Ende reden alle über synthetische Werte, die in der echten Umgebung so nie vorkommen. Dieser Artikel ist der Versuch, aus dieser Diskussion rauszukommen. Nicht mit noch mehr Zahlen, sondern mit einer sauberen Methodik.
Wir messen bei DATAZONE regelmäßig TrueNAS-Systeme — bei der Inbetriebnahme, nach Upgrades, bei Performance-Beschwerden und als Teil unserer internen Qualitätssicherung. Dabei haben wir uns über die Jahre ein paar harte Regeln angewöhnt, die wir hier offenlegen. Erwartet keine konkreten Benchmark-Zahlen aus Kundenumgebungen, die geben wir aus guten Gründen nicht raus. Erwartet dafür den Werkzeugkasten, den ihr braucht, um eure eigenen Zahlen so zu erzeugen, dass sie belastbar sind.
Warum TrueNAS Performance messen schwieriger ist als es aussieht
ZFS ist ein Dateisystem, das sich aktiv darum bemüht, Benchmarks zu verfälschen — nicht aus Bosheit, sondern weil es für den Produktivbetrieb genau das Richtige tut. Es cached aggressiv im RAM über den ARC, es sammelt Writes im Transaction Group, es dedupliziert und komprimiert on the fly, und es verteilt I/O über VDEVs. Jeder dieser Mechanismen hilft eurem echten Workload — und sabotiert fast jeden naiven Benchmark.
Dazu kommt die Netzwerkseite. Wer auf einem SMB-Share mit einem Windows-Client misst, misst in Wirklichkeit Netzwerk-Stack, Protokoll-Overhead, Client-Caching, Server-Caching und die Platten darunter, alles in einer Zahl zusammengerollt. Für die Fehlersuche ist das zu wenig Auflösung. Deshalb trennen wir in unserer Methodik strikt zwischen lokaler Pool-Performance und Netzwerk-Performance.
Und dann ist da noch die Zeitachse. Ein Pool, der am Montagvormittag mit leerem ARC getestet wird, verhält sich anders als derselbe Pool am Dienstagnachmittag, wenn er zwei Tage lang Produktion gesehen hat. Jeder ehrliche Benchmark muss diese Zeitabhängigkeit explizit adressieren.
Die zwei Werkzeuge im Werkzeugkasten: fio und iozone
Warum fio das Hauptwerkzeug ist
fio — der Flexible I/O Tester — ist das De-facto-Standardwerkzeug für Storage-Benchmarks unter Linux. Es ist auf TrueNAS SCALE direkt verfügbar beziehungsweise lässt sich in einer Jail oder einem Debug-Container nachinstallieren. fio kann synchrone und asynchrone I/O, verschiedene Engines (sync, libaio, io_uring, posixaio), direkte I/O am Pagecache vorbei, präzise Lauflängen und saubere Latenz-Histogramme. Fast alles, was ihr in der Praxis messen wollt, lässt sich mit fio ausdrücken.
Der Preis ist, dass fio so flexibel ist, dass man es sich praktisch beliebig in die eigene Tasche konfigurieren kann. Ein Workload mit rw=read, bs=4k, iodepth=1 auf einem 10-GB-Testfile ergibt bei einem System mit 128 GB RAM nach dem ersten Durchlauf einen reinen ARC-Benchmark. Das Ergebnis sieht beeindruckend aus und ist technisch nicht gelogen — es misst aber nicht, was ihr messen wolltet.
Warum iozone als Ergänzung sinnvoll bleibt
iozone ist älter, weniger flexibel, hat aber einen entscheidenden Vorteil: sein automatischer Testmodus mit variierenden Dateigrößen und Blockgrößen erzeugt eine Matrix, die auf einen Blick zeigt, wo im Verhältnis von Dateigröße zu RAM der ARC-Effekt kippt. Wenn ihr auf einem 128-GB-System einen iozone-Lauf von Dateigröße 1 GB bis 256 GB fahrt, seht ihr in der Ergebnismatrix sehr deutlich, ab welcher Größe die Platten tatsächlich belastet werden. Diese Information ist für die Methodik Gold wert.
In der Praxis setzen wir iozone als Explorationstool ein, um die Grenze von Cache zu Platte zu finden, und fio für die eigentlichen Messungen, deren Zahlen wir dann berichten.
Die Fallstricke, die praktisch jedes TrueNAS-Benchmark verfälschen
Fallstrick 1: der ARC-Cache-Effekt
Das ist der mit Abstand häufigste Fehler. ZFS cached gelesene Blöcke im RAM, und zwar sehr aggressiv. Auf einem System mit 128 GB RAM können leicht 100 GB oder mehr für den ARC verfügbar sein. Wenn euer Testfile 10 GB groß ist, liegt es nach dem ersten Durchlauf vollständig im RAM. Jeder weitere Lesedurchlauf misst dann die Geschwindigkeit des RAM-Zugriffs, nicht die eurer Platten.
Die saubere Antwort ist, mit Testfiles zu arbeiten, die deutlich größer sind als der verfügbare ARC — als Faustregel das Dreifache des RAM-Volumens. Auf einem 128-GB-System heißt das Testfiles im Bereich von 400 GB. Alternativ lässt sich der ARC für die Dauer eines Benchmarks temporär begrenzen, aber das verändert das Verhalten so stark, dass die Ergebnisse nicht mehr repräsentativ für den Produktivbetrieb sind. Wir empfehlen den Weg über große Testfiles.
Fallstrick 2: synchrones versus asynchrones I/O
Dieser Punkt ist für die Interpretation von Zahlen vielleicht der wichtigste. ZFS behandelt synchrone und asynchrone Writes grundlegend anders. Asynchrone Writes landen im ZFS Intent Log im RAM und werden erst später gesammelt auf die Platten geschrieben — das Ergebnis sieht blitzschnell aus. Synchrone Writes dagegen müssen vor dem Acknowledge auf stabilen Speicher geschrieben werden, entweder auf das SLOG, falls vorhanden, oder direkt auf die Pool-Platten. Die Latenzen liegen bei synchronem Workload typischerweise um Größenordnungen höher.
Wer einen Datenbank-Workload planen will, misst synchron. Wer einen Backup-Workload planen will, misst asynchron. Wer behauptet, einen allgemeinen “TrueNAS-Benchmark” zu haben, hat in Wirklichkeit nur eine Hälfte der Wahrheit. In fio steuern wir das über sync=1 oder fdatasync=1, in iozone über die entsprechenden Modi.
Und ganz wichtig: ein VMware- oder Proxmox-Hypervisor spricht in der Regel synchron mit dem Storage. Wer sein Virtualisierungs-Backend nur mit asynchronen Writes bencht, wird vom Produktivbetrieb bitter überrascht.
Fallstrick 3: die falsche Blockgröße
4K-Random-Reads sehen auf jedem halbwegs gesunden Pool spektakulär aus. 1M-Sequential-Writes sehen überall ähnlich aus. Entscheidend ist die Blockgröße, die zu eurem echten Workload passt. Datenbanken arbeiten typischerweise mit 8K bis 16K, VMs im Mittel mit 4K bis 64K, Backup-Workloads mit 128K bis 1M, Dateifreigaben für Office-Arbeit mit einer Mischung aus allem.
Wir fahren in unserer Methodik immer mindestens drei Blockgrößen: 4K, 64K, 1M. Das deckt den praxisrelevanten Bereich ab und zeigt den Verlauf, nicht nur einen Punktwert. Wer eine spezifische Anwendung im Blick hat, ergänzt die passende Blockgröße gezielt.
Fallstrick 4: zu kurze Laufzeiten
Ein 30-Sekunden-Benchmark auf einem Enterprise-Pool sagt wenig aus. ZFS hat Transaction Groups, die typischerweise alle 5 Sekunden auf die Platten flushen, es hat ARC-Warm-up-Zeiten, und es hat Scrubs und andere Hintergrundaktivitäten, die phasenweise Last erzeugen. Wir messen in der Regel 10 Minuten pro Workload, bei synchronen Writes auch länger, und werfen die ersten 60 Sekunden Warm-up weg. Die Streuung über die Zeit ist mindestens so interessant wie der Mittelwert.
Fallstrick 5: der eine Durchlauf
Jeder einzelne Benchmark-Lauf schwankt. Hintergrund-Scrubs, Replikations-Jobs, andere Admin-Tätigkeiten — all das verändert die Zahlen. Wir fahren jeden Workload mindestens dreimal und berichten Mittelwert plus Streuung. Alles andere ist Zufall mit Nachkommastellen.
Ein praxistauglicher Mess-Baukasten
Was wir in Kundenprojekten typischerweise fahren, lässt sich in vier Blöcke gliedern. Erstens: lokaler Pool-Benchmark mit fio, direkt auf dem TrueNAS-System, direct I/O am Pagecache vorbei, Testfile dreimal RAM-Volumen, Laufzeit zehn Minuten, drei Wiederholungen, drei Blockgrößen, einmal synchron und einmal asynchron. Zweitens: Netzwerk-Benchmark mit iperf3 zwischen Client und Server, um sicherzustellen, dass die Leitung die Zahlen überhaupt tragen kann. Drittens: Protokoll-Benchmark über SMB oder NFS vom Client, mit denselben Blockgrößen, um den Overhead sichtbar zu machen. Viertens: ein Anwendungs-Benchmark mit dem echten Workload — eine Datenbank-Lastsimulation, ein VM-Boot, ein Backup-Lauf. Die Ergebnisse der ersten drei Blöcke sind nur dann interessant, wenn sie Block vier erklären helfen.
Was Benchmarks aussagen und was nicht
Benchmarks können drei Dinge sehr gut: sie können Hardware-Fehler sichtbar machen (eine Platte, die aus der Reihe tanzt, fällt in einem systematischen Lauf sofort auf), sie können Konfigurationsentscheidungen vergleichbar machen (SLOG vorher und nachher, Record-Size vorher und nachher), und sie können über die Zeit eine Baseline etablieren, gegen die ihr bei Beschwerden vergleichen könnt.
Was Benchmarks nicht können, ist die Zukunft vorhersagen. Ein Pool, der heute 50.000 IOPS liefert, kann morgen bei einem geänderten Workload ganz anders aussehen. Ein Benchmark ist eine Momentaufnahme einer spezifischen Konfiguration unter spezifischer Last. Nicht mehr und nicht weniger.
Und sie können die Qualität eines Setups nicht ersetzen. Ein Pool mit guter IOPS-Zahl aber ohne SLOG ist für synchronen Workload trotzdem die falsche Wahl. Ein Pool mit beeindruckendem Sequential-Throughput aber mit einem einzigen Mirror-VDEV skaliert bei Mixed Load nicht mit. Zahlen ohne Architektur-Verständnis führen in die Irre. Deshalb kombinieren wir in Kundenprojekten immer die Messung mit einer Review der Pool-Topologie und ZFS-Einstellungen.
Wie wir das in DATAZONE-Projekten einsetzen
Bei jedem neuen TrueNAS-System aus unserem Konfigurator fahren wir vor der Übergabe einen vollständigen Baseline-Lauf nach genau dieser Methodik. Die Ergebnisse werden dokumentiert und bleiben als Referenz für den Kunden verfügbar. Wenn ein Jahr später Performance-Beschwerden auftreten, haben wir eine Vergleichsgröße. Ohne diese Baseline ist jede Nachmessung bloße Spekulation.
Bei bestehenden Systemen im Support messen wir anlassbezogen — wenn ein Kunde eine Verschlechterung meldet, wenn ein Upgrade ansteht, wenn ein Workload verändert wird. Dann vergleichen wir gegen die Baseline und können häufig die Ursache klar lokalisieren: ein Pool-Füllgrad, der zu hoch geworden ist, ein ARC-Hit-Ratio-Einbruch durch ein neues Workload-Profil, eine Platte, die anfängt, langsam zu sterben.
In Umgebungen mit Proxmox und TrueNAS gemeinsam sind die Benchmarks besonders aufschlussreich, weil sich hier Netzwerk-Stack, Virtualisierungs-Overhead und Storage überlagern. Eine saubere Trennung der Mess-Ebenen ist dann der einzige Weg, Flaschenhälse zuverlässig zu identifizieren.
Fazit
TrueNAS Performance messen ist keine Fünf-Minuten-Aufgabe und keine Diskussion über IOPS-Zahlen aus Datenblättern. Es ist ein Handwerk mit Regeln. Wer fio und iozone sauber aufsetzt, den ARC-Effekt bewusst behandelt, synchron und asynchron trennt, mehrere Blockgrößen fährt und über ausreichend lange Zeiträume misst, bekommt belastbare Zahlen. Alles andere ist Marketing.
Für euch heißt das: nehmt euch beim nächsten Mal Zeit für die Methodik, bevor ihr euch über Zahlen streitet. Und wenn ihr unsicher seid, ob eure Mess-Umgebung sauber ist, sprecht uns an. Wir messen gern mit — und sagen auch dann ehrlich, wenn der Pool, über den gerade gestritten wird, in der Konfiguration schlicht genau das liefert, was in dieser Konstellation zu erwarten war.
FAQ
Welche Werkzeuge brauche ich mindestens, um TrueNAS Performance zu messen?
fio als Hauptwerkzeug und iperf3 für den Netzwerkteil reichen für fast alle Fragen aus. iozone ist eine gute Ergänzung, wenn ihr die Cache-Grenze eures Pools systematisch sichtbar machen wollt. Alle drei Werkzeuge sind entweder direkt auf TrueNAS verfügbar oder leicht installierbar.
Wie groß muss mein Testfile sein, damit der ARC-Cache meine Messung nicht verfälscht?
Als Faustregel das Dreifache des eurem System zur Verfügung stehenden RAMs. Auf einem System mit 128 GB RAM also im Bereich von 400 GB. Kleinere Testfiles liefern reine ARC-Benchmarks, die mit der Platten-Performance nichts zu tun haben.
Warum sind synchrone und asynchrone Writes so unterschiedlich schnell?
Synchrone Writes müssen vor dem Acknowledge auf stabilen Speicher geschrieben werden, also entweder auf das SLOG oder direkt auf die Pool-Platten. Asynchrone Writes werden im RAM gesammelt und erst später geflusht. Virtualisierungs-Backends und Datenbanken fahren typischerweise synchron, weshalb nur eine synchrone Messung aussagt, wie sich der Pool unter solchen Workloads verhält.
Wie lange sollte ein Benchmark-Lauf mindestens dauern?
Wir empfehlen mindestens zehn Minuten pro Workload, die ersten 60 Sekunden als Warm-up verwerfen. Kürzere Läufe liegen zu nah an Transaction-Group-Grenzen und Hintergrund-Aktivitäten und streuen zu stark.
Reicht ein einziger Benchmark-Durchlauf aus?
Nein. Jede einzelne Messung streut durch Hintergrund-Scrubs, Replikations-Jobs oder andere Aktivitäten. Mindestens drei Wiederholungen pro Workload, dann Mittelwert und Streuung berichten.
Können synthetische Benchmarks reale Workloads ersetzen?
Nein, sie sind eine Hilfestellung, keine Vorhersage. Für die eigentliche Validierung empfehlen wir immer, zusätzlich einen echten Anwendungs-Workload mitzumessen — eine Datenbank-Lastsimulation, einen VM-Boot, einen Backup-Lauf. Erst in Kombination ergibt sich ein ehrliches Bild.
Was macht DATAZONE anders als eine Datenblatt-Angabe des Herstellers?
Wir messen in eurer Umgebung, mit eurer Konfiguration, auf euren Platten, mit eurem Workload. Datenblatt-Zahlen gelten für die Laborbedingung des Herstellers. Beide Zahlen können nebeneinander existieren — aber nur eure eigenen Zahlen sagen etwas über euer System aus. Und genau diese Zahlen bekommt ihr bei einer sauberen Baseline-Messung, wie wir sie bei jedem neuen System vor der Übergabe fahren.
Mehr zu diesen Themen:
Weitere Artikel
TrueNAS für Architekturbüros: CAD-, Rendering- und Projekt-Storage ohne SMB-Stottern
Praxisleitfaden für CAD-Storage im Architekturbüro: TrueNAS mit SMB-Multichannel, 10 GbE, Snapshots pro Meilenstein. Autodesk-tauglich, ehrlich dimensioniert.
TrueNAS mit Let's Encrypt: SSL-Zertifikate für UI, WebShare und Apps sauber automatisieren
TrueNAS Let's Encrypt in der Praxis: ACME-Setup in 25.10 Goldeye, DNS-Challenge für Wildcard, Zuweisung zu UI, WebShare und Apps, Renewal ohne Downtime.
DSGVO Art. 9 in der Arztpraxis: wie TrueNAS die besonderen Kategorien personenbezogener Daten absichert
DSGVO Art. 9 in der Arztpraxis konkret: Gesundheitsdaten mit TrueNAS verschlüsselt, protokolliert und revisionssicher ablegen. Mit § 630f BGB und Löschkonzept.