KI im Mittelstand: Wann lohnt sich eigene GPU-Hardware?

“Sollen wir eigene GPUs anschaffen, oder reicht die Cloud-API?” — diese Frage kommt 2026 in fast jedem KI-Beratungsgespräch im Mittelstand. Die Antwort lautet ehrlicherweise: kommt darauf an. Ein Drei-Personen-Team, das einmal pro Woche ein Modell evaluiert, ist mit OpenAI-, Anthropic- oder Mistral-API günstiger und produktiver bedient als mit einem eigenen GPU-Server. Ein Unternehmen, das täglich acht Stunden lang Tausende Dokumente klassifiziert, sieht nach wenigen Monaten in der Cloud-Abrechnung schon einen Betrag, für den sich gebrauchte A100-Hardware amortisiert hätte.

Dieser Artikel liefert eine Entscheidungshilfe: Wann lohnt sich eigene GPU-Hardware, welche Optionen gibt es 2026 und wie sieht der typische Software-Stack aus.

Wann sich eigene GPU-Hardware lohnt

Drei Kriterien sind aus unserer Beratungspraxis die wichtigsten:

1. Dauerhafte Inferenz-Workloads. Wenn ein Modell jeden Tag mehrere Stunden läuft — Dokumenten-Klassifikation im Posteingang, Code-Assistenz für ein Entwicklungsteam, RAG-System über die interne Wissensbasis — summieren sich Cloud-API-Tokens schnell zu vier- oder fünfstelligen Monatsrechnungen. Bei kontinuierlicher Last unter Volllast einer einzelnen GPU ist On-Prem nach üblicherweise zwölf bis vierundzwanzig Monaten günstiger.

2. Datenschutz-kritische oder regulierte Daten. Patientendaten, Kanzleiakten, interne F&E-Dokumente, Lieferanten-NDA-Inhalte: Wer sie nicht in eine Cloud-API kippen darf oder will, hat keine Wahl. Auch wenn die Anbieter “no training, no logging” zusichern — viele Compliance-Beauftragte und Datenschutzbeauftragte akzeptieren das schlicht nicht. Hier ist On-Prem die einzige tragfähige Option.

3. Reproduzierbarkeit und Modell-Kontrolle. Cloud-APIs versionieren Modelle, deprecaten alte Versionen, ändern Verhalten. Wer Audit-Trails über Jahre braucht oder ein Modell exakt im aktuellen Stand “einfrieren” will, ist mit einem selbst gehosteten Open-Source-Modell besser bedient.

Wann eigene Hardware sich NICHT lohnt

Genauso wichtig — und wird im Hype gerne übersehen:

• Gelegentliche Experimente und Prototypen. Wer einmal pro Woche ein Skript laufen lässt, ist mit Cloud-APIs deutlich günstiger und schneller produktiv.
• Kurzfristige Projekte. Ein dreimonatiges Pilotprojekt rechtfertigt keinen Hardware-Kauf — selbst eine geleaste Cloud-GPU bei Hyperscaler oder kleinerem Anbieter ist meist die bessere Wahl.
• Schwankende Last. Wenn die GPU 80 % der Zeit Leerlauf hat, brennt sie Strom, ohne Wert zu liefern. Cloud-Pay-per-Use bleibt günstiger.
• Kein internes Know-how. Eine GPU einzukaufen ist einfach. Sie produktiv zu betreiben — Treiber, CUDA-Versionen, Modell-Updates, Monitoring — ist Arbeit. Ohne mindestens eine Person, die das übernimmt, wird die Hardware zur teuren Staubsammlerin.

Hardware-Optionen 2026

Bei der Auswahl der GPU geht es um drei Dimensionen: VRAM, Compute-Leistung und Anschaffungskosten. Konkrete TFLOPS- und Tokens-pro-Sekunde-Zahlen lassen wir hier bewusst weg — sie hängen extrem von Modell, Quantisierung, Batch-Größe und Software-Stack ab. Wer belastbare Benchmarks braucht, sollte die Hersteller-Datenblätter (Nvidia, AMD) und unabhängige Benchmark-Quellen wie MLPerf konsultieren.

Gebrauchtmarkt — Nvidia A100 / A40. Auf dem Sekundärmarkt sind 40 GB- und 80 GB-Versionen der A100 zu Preisen verfügbar, die deutlich unter Neupreis liegen. Die A40 ist eine PCIe-Karte mit 48 GB VRAM, ebenfalls günstig zu bekommen. Für Inferenz mit 7B- bis 70B-Modellen (quantisiert) reicht das gut.

Neu — Nvidia RTX 6000 Ada / L40S. Die Workstation-Karten von Nvidia mit 48 GB VRAM sind die typische Wahl für KMU, die “neu und mit Garantie” wollen. Sie laufen in normalen Workstations oder Rack-Servern, brauchen kein spezielles Datacenter-Kühlkonzept.

Neu — Nvidia H100 / H200. Datacenter-Klasse, hoher VRAM, hoher Preis (typisch 30.000 EUR aufwärts pro Karte, je nach Konfiguration), hoher Stromverbrauch. Für KMU selten die richtige Wahl — meist nur dann, wenn Training oder Fine-Tuning großer Modelle Teil der Strategie ist.

Alternative — AMD Instinct MI300X. AMD hat mit der MI300X eine ernstzunehmende Konkurrenz im Datacenter-Segment. 192 GB HBM3-Speicher pro Karte sind beeindruckend. Software-Stack (ROCm) ist 2026 deutlich gereift, aber für viele Frameworks ist Nvidia/CUDA noch immer der Pfad mit den wenigsten Stolpersteinen.

Consumer-Karten — RTX 4090 / 5090. Verlockend günstig, aber Vorsicht: Nvidia-EULA verbietet Datacenter-Einsatz, die Karten sind nicht für 24/7-Volllast spezifiziert, und der VRAM ist begrenzt (24 GB / 32 GB). Für ein Entwickler-Notebook oder eine Test-Workstation OK, für Production nicht empfehlenswert.

Welches Modell passt zur Hardware?

Eine grobe Orientierung — alle Zahlen ca. und abhängig von Quantisierung:

GPU-VRAM	Mögliche Modelle (Inferenz, quantisiert)
24 GB	7B-13B Modelle (Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B/14B)
48 GB	30B-70B Modelle in 4-bit-Quantisierung
80 GB	70B Modelle in höherer Präzision, 100B+ in 4-bit
2× 80 GB	100B+ in höherer Präzision, große MoE-Modelle

Im Mittelstand ist die häufigste Konstellation 2026: eine Workstation mit 48 GB VRAM, darauf ein Llama-3- oder Qwen-2.5-Modell in 4-bit-Quantisierung, ergänzt um ein kleineres Embedding-Modell für RAG. Damit deckt man Code-Assistenz, Dokumenten-Klassifikation und einfache RAG-Use-Cases ab.

Software-Stack: Einstieg, Produktion, API-Proxy

Der Software-Stack ist mindestens so wichtig wie die Hardware. Drei Komponenten sind 2026 Standard:

Ollama — für den Einstieg. Ollama macht es einfach, ein Modell zu laden und über eine HTTP-API anzusprechen. Ideal, um in einer Stunde von “GPU installiert” zu “erstes Token läuft”. Skaliert nicht für Production-Workloads, aber perfekt für Prototypen.

vLLM — für Production. Wenn der Workload ernsthaft wird (mehrere Nutzer parallel, hohe Tokens-pro-Sekunde-Anforderungen), ist vLLM der Quasi-Standard. Continuous Batching, PagedAttention, hohe Throughput-Effizienz. Erfordert mehr Konfigurationsaufwand, läuft aber stabil und performant.

LiteLLM — als API-Proxy. Selbst gehostete Modelle und Cloud-APIs sehen unterschiedlich aus. LiteLLM bietet einen einheitlichen OpenAI-kompatiblen Endpoint, hinter dem beliebige Backends stehen können (vLLM, Ollama, OpenAI, Anthropic, Mistral). Praktisch, wenn man Anwendungs-Code unabhängig vom konkreten Modell-Backend halten will.

Storage-Anbindung: Modelle wollen schnelles Storage

Moderne Open-Source-Modelle sind groß: Llama 3.1 8B braucht ca. 16 GB als Original-Gewicht, 70B ca. 140 GB, 405B mehrere hundert GB. Quantisierte Versionen sind kleiner, aber immer noch im zweistelligen GB-Bereich.

Für den Modell-Cache empfehlen wir einen NVMe-Pool auf TrueNAS als zentrale Modell-Bibliothek. Vorteile:

• Eine zentrale Quelle für alle Inferenz-Server / Workstations
• Snapshots vor jedem Modell-Update
• Schnelles Nachladen via 10/25/100 GbE
• Versionierung über ZFS-Dataset-Properties

Wer zu einem späteren Zeitpunkt vom Single-Workstation-Setup auf einen kleinen GPU-Cluster wächst, profitiert von zentralisiertem Modell-Storage besonders.

Energie: 24/7 summiert sich

Die ehrliche Rechnung kommt am Stromzähler. Typische Verbrauchswerte (Hersteller-TDP, real meist etwas niedriger):

• Nvidia A100: ca. 400 W
• Nvidia H100: ca. 700 W
• Nvidia RTX 6000 Ada: ca. 300 W
• AMD MI300X: ca. 750 W

Im Dauerbetrieb (24/7) summiert sich das. Eine A100 unter Last verbraucht ca. 3.500 kWh pro Jahr — bei deutschen Industriestrompreisen vierstellige Euro-Beträge nur für den Strom. Plus Kühlung. Plus den Server, in dem die GPU sitzt.

Wer eigene GPUs anschafft, sollte den Stromverbrauch mit einplanen — und gegebenenfalls in der TCO-Rechnung gegen die Cloud-Variante stellen. Tipp: GPUs lassen sich oft auf 70-80 % TDP drosseln und verlieren dabei nur ca. 5-10 % Performance. Bei dauerhafter Auslastung ein lohnenswerter Schritt. Siehe auch Energiekosten im Serverraum: Stellschrauben für den Mittelstand.

Monitoring und Modell-Updates — der laufende Betrieb

Eine GPU einzukaufen ist ein einmaliger Aufwand. Sie produktiv zu betreiben ist Daueraufgabe. Zwei Punkte, die in der Beratungspraxis regelmäßig unterschätzt werden:

Monitoring. Eine GPU im Inferenz-Betrieb sollte mindestens überwachen: Auslastung (%), VRAM-Belegung, Temperatur, Stromverbrauch, Anzahl aktiver Inferenz-Sessions, Latenz pro Request. Nvidia liefert mit nvidia-smi ein CLI-Tool, das per Exporter (nvidia-dcgm-exporter, gpu_exporter) in Prometheus/Grafana eingebunden werden kann. Wer einen bestehenden Monitoring-Stack hat, ist hier schnell produktiv — siehe Grafana, Prometheus, Loki: Self-Hosted-Stack.

Modell-Updates. Open-Source-Modelle werden regelmäßig verbessert (neue Llama-Versionen, Qwen-Updates, Mistral-Releases). Wer einmal pro Quartal ein neues Modell testen und ausrollen will, braucht einen Workflow: Modell-Cache aktualisieren, Inference-Service mit neuem Modell starten, Test-Anfragen vergleichen, dann produktiv schalten. Ohne diesen Prozess “altert” das eigene Setup gegenüber der Cloud-API binnen Monaten messbar.

Sicherheit: GPU-Hosts gehören abgehärtet

GPU-Server sind oft “vergessene” Maschinen — performant, technisch interessant, aber sicherheitsmäßig nicht so streng behandelt wie ein klassischer Anwendungs-Server. Das ist ein Fehler. Ein Ollama- oder vLLM-Endpoint, der ungesichert im LAN erreichbar ist, kann von jeder kompromittierten Workstation aus angesprochen werden — und über die Modell-Eingaben können beliebige interne Dokumente abgefragt werden.

Mindestens:

• API-Zugriff nur über authentifizierten Reverse-Proxy (LiteLLM mit API-Keys, oder Nginx mit OAuth-Proxy)
• Netzwerk-Segmentierung — GPU-Host nicht im flachen Client-Netz
• Standard-Linux-Härtung (siehe Linux-Server-Härtung: 15-Minuten-Checkliste)
• Audit-Logging der API-Anfragen — wer fragt was, wann?

Empfehlung: drei typische Setups

Einstieg (Prototyp, ein Team): Eine Workstation mit RTX 6000 Ada (48 GB) oder gebrauchter A40, Ollama für den schnellen Start, lokales Modell-Verzeichnis. Investition: niedriger fünfstelliger Bereich.

KMU-Production (Inferenz für mehrere Nutzer): GPU-Server mit zwei A100 80 GB (gebraucht) oder L40S (neu), vLLM als Inference-Engine, LiteLLM als API-Proxy, TrueNAS NVMe-Pool für Modell-Storage. Investition: mittlerer fünfstelliger Bereich.

Spezialanwendung (Fine-Tuning, große Modelle): Mehrere H100 oder MI300X, dedizierter ML-Engineer, Datacenter-fähige Infrastruktur. Hier reden wir über sechs- bis siebenstellige Investitionen — und das ist im KMU-Segment fast immer der Punkt, an dem Cloud-Compute (auch dauerhaft) günstiger bleibt.

Fazit

Eigene GPU-Hardware für KI lohnt sich im Mittelstand 2026 in genau zwei Konstellationen: dauerhafter Inferenz-Bedarf bei mehreren Stunden pro Tag oder Datenschutz-/Compliance-Zwang. Für alles andere sind Cloud-APIs flexibler, schneller produktiv und meist günstiger.

Wer einsteigt, sollte klein anfangen: eine Workstation mit 48 GB VRAM, Ollama, ein Open-Source-Modell der 7B- bis 13B-Klasse. Erst wenn die Auslastung sichtbar steigt und mehrere Anwendungsfälle nachgewiesen sind, lohnt der Sprung zu Dual-GPU-Servern, vLLM und zentralisiertem Modell-Storage.

DATAZONE berät Sie herstellerneutral — von der Architekturfrage “Cloud oder On-Prem?” über die konkrete Hardware-Auswahl bis zum produktiven Betrieb inklusive Modell-Versionierung und Monitoring.