GPU für lokale KI auswählen: VRAM-Bedarf, RTX-50-Serie und Radeon im Vergleich

Wer Sprachmodelle lokal betreibt, stößt zuerst an eine Grenze: den Grafikspeicher (VRAM). Passt ein Modell vollständig in den VRAM, antwortet es zügig. Passt es nicht, lagert die Laufzeitumgebung Teile in den Arbeitsspeicher aus, und die Antworten werden deutlich langsamer. Diese Anleitung zeigt, wie Sie den VRAM-Bedarf Ihrer Wunschmodelle aus offiziellen Angaben ableiten, die passende Grafikkarte anhand der Herstellerdaten auswählen und nach dem Einbau mit Ollama prüfen, ob das Modell tatsächlich vollständig auf der GPU läuft.

Voraussetzungen

• PC oder Server mit x86-64-CPU, freiem PCIe-x16-Steckplatz und ausreichend Platz im Gehäuse (Kartenlänge laut Datenblatt des Kartenherstellers)
• Windows 10/11 oder eine aktuelle Linux-Distribution, zum Beispiel Ubuntu 24.04
• NVIDIA-Treiber 550 oder neuer (Mindestanforderung von Ollama) beziehungsweise bei AMD ein ROCm-v7-fähiger Treiber
• Netzteil mit der vom GPU-Hersteller genannten Systemleistung (Tabelle in Schritt 3) und den passenden PCIe-Stromanschlüssen
• Arbeitsspeicher mindestens in Höhe des VRAM, besser das Doppelte, damit größere Modelle notfalls teilweise ausgelagert werden können
• SSD-Speicher für die Modelle: Ein 32B-Modell in Q4_K_M belegt bereits 20 GB
• Ollama in einer aktuellen Version

Schritt 1: Einsatzzweck und Modellgröße festlegen

Kaufen Sie die Grafikkarte passend zu den Modellen, nicht umgekehrt. Notieren Sie, welche Aufgaben das lokale Modell übernehmen soll (Texte zusammenfassen, Code erklären, Dokumente durchsuchen) und welche Modellgröße dafür in Frage kommt. Die Zahl hinter dem Modellnamen gibt die Parameter in Milliarden an: qwen3:14b hat 14 Milliarden Parameter. Mehr Parameter bedeuten in der Regel bessere Antworten, aber auch mehr Speicherbedarf.

Legen Sie außerdem fest, wie lang die Eingaben werden. Das Kontextfenster bestimmt, wie viel Text das Modell gleichzeitig verarbeitet. Laut Ollama-Dokumentation nutzt Ollama standardmäßig 4096 Token. Wer lange Verträge oder Handbücher auswerten will, braucht mehr Kontext und damit mehr VRAM.

Verifizieren: Sie haben eine Liste mit ein bis drei Modellen samt Parametergröße (zum Beispiel 8B, 14B, 27B) und eine Zielgröße für das Kontextfenster.

Schritt 2: VRAM-Bedarf aus der Ollama-Library ablesen

Die zuverlässigste Ausgangszahl ist die Dateigröße des Modells, die die Ollama-Library auf der Seite „Tags“ jedes Modells angibt. Diese Gewichte müssen vollständig in den VRAM, damit das Modell nur auf der GPU läuft. Die folgende Tabelle zeigt die Angaben der Library (Stand 14.10.2026) für gängige Modelle in drei Quantisierungsstufen. Quantisierung bedeutet, dass die Gewichte mit weniger Bits gespeichert werden: Q4_K_M nutzt rund 4 Bit, Q8_0 8 Bit, FP16 16 Bit pro Gewicht.

Zur Dateigröße kommt der Speicher für das Kontextfenster (KV-Cache) und die Laufzeitumgebung. Wie groß dieser Anteil ist, hängt vom Modell und von der Kontextlänge ab. Die Ollama-Dokumentation nennt dazu zwei Regeln: Der Speicherbedarf wächst mit der Kontextlänge, und bei parallelen Anfragen multipliziert sich der Kontext mit deren Anzahl (OLLAMA_NUM_PARALLEL). Planen Sie deshalb spürbar Luft über der Dateigröße ein und messen Sie den tatsächlichen Wert in Schritt 5.

Ein Beispiel: qwen3:14b belegt als Datei 9,3 GB. Auf einer Karte mit 12 GB bleiben knapp 3 GB für Kontext und Laufzeit, auf einer Karte mit 16 GB deutlich mehr. Ein 70B-Modell mit 43 GB passt auf keine einzelne Consumer-Karte der RTX-50-Serie.

Verifizieren: Für jedes Wunschmodell steht die Dateigröße aus der Ollama-Library in Ihrer Liste, und Sie haben die kleinste VRAM-Klasse notiert, in die das Modell mit Reserve passt.

Schritt 3: Grafikkarte nach Herstellerdaten auswählen

Vergleichen Sie Ihre VRAM-Klasse mit den offiziellen Datenblättern. Die Tabelle fasst die Angaben von nvidia.com und amd.com zusammen (Stand 14.10.2026). „Systemleistung“ ist die Netzteilleistung, die der Hersteller für ein Gesamtsystem mit dieser Karte empfiehlt.

Daraus ergibt sich eine einfache Zuordnung:

• 8 GB: Modelle bis etwa 8B in Q4_K_M mit kleinem Kontext. Für den Einstieg brauchbar, aber ohne Spielraum.
• 12 GB: 8B-Modelle in Q8_0 oder 12B bis 14B in Q4_K_M mit knapper Reserve.
• 16 GB: 14B-Modelle in Q4_K_M mit Reserve für längeren Kontext. Achten Sie bei der RTX 5060 Ti und der RX 9060 XT auf die 16-GB-Ausführung, denn beide gibt es auch mit 8 GB.
• 32 GB: 27B- bis 32B-Modelle in Q4_K_M vollständig auf der GPU.
• Über 32 GB: 70B-Modelle brauchen mehrere Karten oder eine Workstation-GPU. Ollama verteilt ein Modell laut Dokumentation auf alle GPUs, wenn es auf keine einzelne passt.

RTX 5070 Ti und RTX 5080 haben denselben VRAM. Für die Frage, welches Modell passt, bringt die RTX 5080 daher keinen Vorteil. Bei AMD prüfen Sie zusätzlich die Liste der von Ollama unterstützten Karten: Unter Windows führt die Ollama-Hardwareseite derzeit nur Karten der Radeon-RX-7000-Serie und Radeon PRO W7000 für ROCm auf. Die RX-9000-Serie ist dort nur für Linux gelistet, unter Windows bleibt das Vulkan-Backend.

Verifizieren: Die gewählte Karte hat mindestens die VRAM-Klasse aus Schritt 2, steht in der Ollama-Hardwareliste für Ihr Betriebssystem, und Sie haben die Karte als Ausführung mit dem richtigen Speicherausbau notiert.

Schritt 4: Netzteil, Treiber und Einbau prüfen

Vergleichen Sie die Systemleistung aus der Tabelle mit dem Typenschild Ihres Netzteils. NVIDIA nennt außerdem die nötigen Stromanschlüsse: Die RTX 5090 braucht zum Beispiel vier 8-Pin-PCIe-Kabel über den mitgelieferten Adapter oder ein PCIe-Gen-5-Kabel für 600 W. Fehlen diese Anschlüsse, ist ein neues Netzteil nötig.

Installieren Sie nach dem Einbau den aktuellen Treiber des Herstellers. Ollama setzt für NVIDIA-Karten den Treiber 550 oder neuer voraus und listet die gesamte RTX-50-Serie mit Compute Capability 12.0. Unter Linux prüfen Sie den Treiber mit:

nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv

Bei AMD unter Linux zeigt rocminfo die erkannten Geräte.

Verifizieren: nvidia-smi nennt den Kartennamen, eine Treiberversion ab 550 und den erwarteten Speicher (bei einer 16-GB-Karte knapp 16 GB, angezeigt in MiB).

Schritt 5: Modell laden und GPU-Auslastung kontrollieren

Laden Sie ein Modell aus Ihrer Liste und prüfen Sie, wo es gelandet ist:

ollama run qwen3:14b "Antworten Sie mit einem Satz: Was ist VRAM?"
ollama ps

Die Spalte PROCESSOR zeigt laut Ollama-Dokumentation die Verteilung: 100% GPU bedeutet, das Modell liegt vollständig im VRAM. 100% CPU heißt, es läuft nur im Arbeitsspeicher. Eine Angabe wie 48%/52% CPU/GPU zeigt eine Aufteilung, die Antworten werden dann merklich langsamer. Die Spalte SIZE enthält den tatsächlichen Speicherbedarf einschließlich Kontext und ist damit genauer als die Dateigröße aus Schritt 2.

Verifizieren: ollama ps zeigt für Ihr Hauptmodell 100% GPU, und der Wert unter SIZE liegt unter dem VRAM der Karte.

Schritt 6: Kontext und KV-Cache gezielt einstellen

Reicht der VRAM knapp nicht, stellen Sie zuerst das Kontextfenster ein. Unter Linux setzen Sie Umgebungsvariablen für den Ollama-Dienst über systemd:

sudo systemctl edit ollama.service

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"

sudo systemctl daemon-reload
sudo systemctl restart ollama

Unter Windows beenden Sie Ollama über das Symbol in der Taskleiste, legen die Variablen unter „Umgebungsvariablen für dieses Konto bearbeiten“ an und starten Ollama neu.

Was die Werte bewirken, beschreibt die Ollama-Dokumentation so: Flash Attention senkt den Speicherbedarf bei wachsendem Kontext und wird automatisch genutzt, wenn Backend und Gerät es unterstützen; OLLAMA_FLASH_ATTENTION=1 erzwingt es. OLLAMA_KV_CACHE_TYPE=q8_0 halbiert ungefähr den Speicher des KV-Caches gegenüber dem Standard f16, mit sehr kleinem Genauigkeitsverlust. q4_0 spart etwa drei Viertel, der Qualitätsverlust kann bei langem Kontext aber auffallen. Die KV-Cache-Quantisierung wirkt nur mit aktivem Flash Attention und gilt global für alle Modelle.

Für eine einzelne Sitzung ändern Sie den Kontext im Chat mit /set parameter num_ctx 8192.

Verifizieren: Nach dem Neustart zeigt ollama ps für das Modell weiterhin 100% GPU, und systemctl show ollama --property=Environment listet die gesetzten Variablen.

Typische Fehler

Modell läuft teilweise auf der CPU

ollama ps zeigt eine Aufteilung wie 30%/70% CPU/GPU. Ursache ist fast immer zu wenig freier VRAM: Das Modell ist zu groß, der Kontext zu lang oder ein zweites Modell ist noch geladen. Lösung: kleinere Quantisierung wählen, Kontext verkleinern, andere Modelle mit ollama stop MODELL entladen.

Falsche Speicherausführung gekauft

RTX 5060 Ti und RX 9060 XT gibt es mit 8 und mit 16 GB. Die 8-GB-Ausführung bietet für lokale Modelle nicht mehr Platz als eine RTX 5060. Prüfen Sie vor dem Kauf die Speicherangabe der konkreten Karte und nach dem Einbau mit nvidia-smi.

GPU wird nicht erkannt

Ollama fällt still auf die CPU zurück, wenn der Treiber zu alt ist oder die Karte nicht unterstützt wird. Prüfen Sie die Treiberversion (NVIDIA ab 550) und bei AMD die Hardwareliste von Ollama für Ihr Betriebssystem. Unter Linux kann laut Ollama nach einem Suspend die GPU verloren gehen; dann hilft das Neuladen des Moduls mit sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm.

System startet unter Last neu

Schaltet der Rechner beim Laden eines großen Modells ab, reicht das Netzteil oft nicht. Vergleichen Sie die Systemleistung aus Schritt 3 mit dem Typenschild und prüfen Sie, ob alle PCIe-Stromkabel angeschlossen sind.

Häufige Fragen

Reichen 8 GB VRAM für lokale KI?

Für Modelle bis etwa 8B in Q4_K_M ja. llama3.1:8b belegt laut Ollama-Library 4,9 GB, qwen3:8b 5,2 GB. Für 14B-Modelle (9,3 GB bei qwen3:14b) reichen 8 GB nicht.

Warum nicht einfach die schnellste Karte?

Weil die Rechenleistung erst zählt, wenn das Modell in den VRAM passt. Eine schnellere Karte mit gleichem VRAM lässt dieselben Modelle laufen, nur zügiger. Eine Karte mit mehr VRAM lässt größere Modelle überhaupt erst vollständig auf der GPU laufen.

Welche Quantisierung sollte ich wählen?

Die Standard-Tags der Ollama-Library (zum Beispiel qwen3:14b) verweisen auf Q4_K_M. Q8_0 braucht ungefähr doppelt so viel Speicher und lohnt sich, wenn das Modell trotzdem vollständig in den VRAM passt. FP16 ist für Consumer-Karten meist zu groß.

Kann ich zwei Grafikkarten kombinieren?

Ja. Ollama lädt ein Modell bevorzugt auf eine einzelne GPU und verteilt es nur auf mehrere Karten, wenn es auf keine einzelne passt. Die Verteilung über den PCIe-Bus kostet Geschwindigkeit.

Lohnt sich AMD für lokale KI?

Unter Linux unterstützt Ollama per ROCm auch die Radeon-RX-9000-Serie. Unter Windows ist die ROCm-Liste kürzer. Prüfen Sie vor dem Kauf die Hardwareseite von Ollama.

Fazit

Wählen Sie die Grafikkarte über den VRAM: Modellgröße aus der Ollama-Library ablesen, Reserve für den Kontext einplanen und dann die kleinste Karte nehmen, die das sicher abdeckt. Für 14B-Modelle ist eine 16-GB-Karte die passende Klasse, für 27B bis 32B braucht es 32 GB, 70B-Modelle sprengen jede einzelne Consumer-Karte. Prüfen Sie Netzteil und Treiber gegen die Herstellerangaben und kontrollieren Sie nach dem Einbau mit ollama ps, dass Ihr Modell zu 100 % auf der GPU läuft.

Weiterführende Anleitungen und Quellen

• Ollama und Open WebUI mit Docker: eigenes lokales KI-Sprachmodell ohne Cloud betreiben
• Ollama-Modelle 2026 richtig auswählen: VRAM, Quantisierung und Modellvergleich für KMU
• DeepSeek lokal betreiben: R1-Modelle mit Ollama, Modellwahl und VRAM-Bedarf
• GGUF, AWQ und GPTQ erklärt: Welches Quantisierungsformat für welchen Zweck
• GPU-Passthrough in Proxmox einrichten: NVIDIA/AMD von IOMMU bis zur VM
• NVIDIA: GeForce RTX 50 Series, technische Daten
• AMD: Radeon-Grafikkarten, technische Daten
• Ollama-Library: Modelle und Größen
• Ollama: Hardware Support
• Ollama: FAQ (Kontext, Flash Attention, KV-Cache)