DeepSeek lokal betreiben: R1-Modelle mit Ollama, Modellwahl und VRAM-Bedarf

DeepSeek veröffentlicht seine Sprachmodelle mit offenen Gewichten unter MIT-Lizenz. Für den Betrieb auf eigener Hardware ist aber entscheidend, welche Modelle tatsächlich auf einen Server oder Arbeitsplatzrechner passen. Die aktuellen Spitzenmodelle DeepSeek-V4-Pro (August 2026) und DeepSeek-V4.1-Flash (September 2026) sind Mixture-of-Experts-Modelle mit 552 Milliarden bis 1,6 Billionen Parametern; Ollama bietet sie nur als Cloud-Modelle an. Lokal realistisch sind die DeepSeek-R1-Modelle: destillierte Varianten von 1,5 bis 70 Milliarden Parametern, die das schrittweise Denken des großen R1 übernommen haben. Diese Anleitung zeigt, welche R1-Variante zu welcher Hardware passt, wie Sie sie mit Ollama per Docker betreiben und wo die Grenzen liegen.

Voraussetzungen

• Server: Linux x86_64 oder ARM64 mit Docker Engine und Compose-Plugin, etwa Ubuntu 24.04. Ollama läuft auch nativ unter Windows und macOS; die API-Beispiele gelten dort ebenso.
• GPU: NVIDIA-Karte mit mindestens 8 GB VRAM für :7b und :8b, 12 GB für :14b, 24 GB für :32b. Auf dem Host brauchen Sie Treiber und NVIDIA Container Toolkit. AMD-Karten nutzen das Image mit Tag rocm.
• Ohne GPU: 4 CPU-Kerne und 8 GB RAM genügen für :1.5b. Größere Modelle laufen auf der CPU nur langsam.
• RAM: mindestens so viel wie die Modelldatei groß ist, zusätzlich zum Betriebssystem. Für :14b also 16 GB.
• Speicher: 4 GB für das Ollama-Image plus die Modellgröße, bei mehreren Modellen entsprechend mehr.

Welche Grafikkarte für welche Modellgröße reicht, vertieft GPU für lokale KI auswählen. Treiber und CUDA richten Sie nach CUDA-Umgebung korrekt aufsetzen ein.

Schritt 1: Modellstand und passende Variante klären

Unter dem Namen DeepSeek laufen 2026 zwei Modellfamilien, die Sie für den Eigenbetrieb klar trennen sollten:

Modell	Größe	Lokal mit Ollama?
DeepSeek-V4.1-Flash (10.09.2026)	552 Mrd. Parameter, 8 bis 16 Mrd. aktiv, bis 1 Mio. Token Kontext	Nein, nur deepseek-v4.1-flash:cloud
DeepSeek-V4-Pro (13.08.2026)	1,6 Billionen Parameter	Nein, nur deepseek-v4-pro:cloud
DeepSeek-R1 (671b)	404 GB als Q4_K_M	Technisch ja, praktisch nur auf Mehr-GPU-Servern
R1-Distillate 1,5b bis 70b	1,1 bis 42,5 GB	Ja

Ein Cloud-Modell bei Ollama schickt Ihre Eingaben an die Server von Ollama. Wer lokal betreiben will, um Daten im Haus zu halten, nutzt also ausschließlich die R1-Tags ohne :cloud. Die Distillate sind nicht DeepSeek selbst, sondern kleinere Modelle anderer Hersteller, die mit Ausgaben von R1 nachtrainiert wurden:

Ollama-Tag	Grundlage	Datei (Q4_K_M)	Sinnvolle Hardware
deepseek-r1:1.5b	Qwen 2.5 1.5B	1,1 GB	CPU oder kleine GPU
deepseek-r1:7b	Qwen 2.5 7B	4,7 GB	GPU ab 8 GB
deepseek-r1:8b (Standard)	R1-0528 auf Qwen3 8B	5,2 GB	GPU ab 8 GB
deepseek-r1:14b	Qwen 2.5 14B	9,0 GB	GPU ab 12 GB
deepseek-r1:32b	Qwen 2.5 32B	19,9 GB	GPU mit 24 GB
deepseek-r1:70b	Llama 3.3 70B	42,5 GB	zwei GPUs mit je 24 GB

Die Dateigröße ist die Untergrenze für den Speicherbedarf; hinzu kommt der Zwischenspeicher für den Kontext, der mit der Kontextlänge wächst. Den tatsächlichen Bedarf zeigt ollama ps nach dem Laden. Laut ollama.com wurden alle R1-Tags zuletzt vor rund einem Jahr aktualisiert.

Verifizieren: Auf https://ollama.com/library/deepseek-r1/tags stimmen Tags und Größen mit der Tabelle überein. Für Ihre GPU gilt: Dateigröße plus etwa ein Viertel Reserve passt in den VRAM, sonst weichen Sie auf die nächstkleinere Variante aus.

Schritt 2: Ollama per Docker Compose starten

sudo mkdir -p /opt/ollama
cd /opt/ollama
sudo nano compose.yaml

services:
  ollama:
    image: ollama/ollama:0.40.2
    container_name: ollama
    restart: unless-stopped
    ports:
      - "127.0.0.1:11434:11434"
    environment:
      OLLAMA_CONTEXT_LENGTH: "8192"
      OLLAMA_KEEP_ALIVE: "10m"
    volumes:
      - ollama:/root/.ollama
    # Für NVIDIA-GPUs einkommentieren (NVIDIA Container Toolkit nötig):
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

volumes:
  ollama:

Einstellung	Wert	Grund
Image	ollama/ollama:0.40.2	festgeschriebene Version vom 29.09.2026
Port	127.0.0.1:11434	die Ollama-API hat keine Anmeldung
OLLAMA_CONTEXT_LENGTH	8192	Standard wären unter 24 GB VRAM 4096 Token, zu wenig für längere Denkketten (ab 24 GB 32768, ab 48 GB 262144)
OLLAMA_KEEP_ALIVE	10m	Modell bleibt 10 statt 5 Minuten geladen
Volume	/root/.ollama	Modelle überleben Neustarts

docker compose pull
docker compose up -d

Verifizieren: docker compose exec ollama ollama --version meldet ollama version is 0.40.2, und curl -s http://127.0.0.1:11434/api/version liefert dieselbe Nummer als JSON. Mit GPU zeigt das Log eine Zeile zur erkannten Karte.

Schritt 3: Modell laden und prüfen

docker compose exec ollama ollama pull deepseek-r1:8b
docker compose exec ollama ollama show deepseek-r1:8b
docker compose exec ollama ollama run deepseek-r1:8b "Erkläre in zwei Sätzen, was ein Reverse Proxy ist."

Auf einem Rechner ohne GPU nehmen Sie deepseek-r1:1.5b. Im Test zeigte ollama show für dieses Modell die Architektur qwen2, 1.8B Parameter, Quantisierung Q4_K_M, die Fähigkeiten tools, thinking und completion sowie die MIT-Lizenz.

Verifizieren: docker compose exec ollama ollama list führt das Modell mit Größe auf. Direkt nach einer Anfrage zeigt docker compose exec ollama ollama ps das geladene Modell, den Prozessor (100% GPU oder 100% CPU) und den Kontext 8192. Im Test auf 2 CPU-Kernen: deepseek-r1:1.5b, 1,5 GB, 100% CPU. Steht dort ein gemischter Wert wie 40%/60% CPU/GPU, passt das Modell nicht vollständig in den VRAM.

Schritt 4: Denkprozess und Antwort über die API trennen

R1-Modelle schreiben vor der Antwort eine Denkkette. Ollama gibt sie getrennt aus, wenn Sie in der Anfrage "think": true setzen: Die Chat-API liefert dann message.thinking und message.content.

curl -s http://127.0.0.1:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "messages": [{"role": "user", "content": "Wie viele Buchstaben r hat das Wort Erdbeerrezept?"}],
  "think": true,
  "stream": false
}' | python3 -c 'import json,sys; m=json.load(sys.stdin)["message"]; print(m["content"])'

Im Test mit deepseek-r1:1.5b auf der CPU dauerte diese Anfrage 14 Sekunden, davon 1,8 Sekunden zum Laden des Modells, bei rund 20 Token pro Sekunde. Die Antwort „drei“ stimmte, die englischsprachige Denkkette hatte das Wort aber zwischendurch falsch gelesen. Kleine Distillate eignen sich deshalb zum Ausprobieren, nicht für verlässliche Fachauskünfte.

Ollama stellt zusätzlich eine OpenAI-kompatible Schnittstelle unter /v1 bereit. Anwendungen wie Open WebUI oder eigene Skripte mit dem OpenAI-SDK verwenden als Basis-URL http://127.0.0.1:11434/v1 und als Modellnamen den Ollama-Tag. Im Test enthielt die Antwort dort nur role und content.

Verifizieren: Die Ausgabe enthält nur die Antwort ohne Denkkette. Ersetzen Sie im Python-Aufruf content durch thinking, erscheint die Denkkette.

Schritt 5: Eigene Variante per Modelfile anlegen

Sollen alle Anwendungen dieselben Parameter nutzen, legen Sie eine eigene Variante an. Das Modell :8b bringt laut Registry bereits temperature 0.6 und top_p 0.95 mit; ergänzen Sie den Kontext und eine deutsche Systemanweisung:

FROM deepseek-r1:8b
PARAMETER num_ctx 16384
SYSTEM Antworte auf Deutsch, sachlich und knapp. Kennzeichne Unsicherheiten.

docker compose cp Modelfile ollama:/tmp/Modelfile
docker compose exec ollama ollama create deepseek-r1-de -f /tmp/Modelfile

Ein größerer Kontext kostet Speicher. Prüfen Sie nach der ersten Anfrage mit ollama ps, ob das Modell noch vollständig auf der GPU liegt.

Verifizieren: ollama list zeigt deepseek-r1-de, und ollama show deepseek-r1-de nennt unter „Parameters“ den Wert num_ctx 16384.

Schritt 6: Anbindung und Betrieb

Für den Einsatz im Team setzen Sie eine Oberfläche mit Benutzerverwaltung davor, statt die Ollama-API freizugeben. Open WebUI im selben Compose-Projekt spricht Ollama über den Dienstnamen an; die Einrichtung beschreibt Ollama und Open WebUI mit Docker.

Für Updates ändern Sie den Image-Tag und führen docker compose pull sowie docker compose up -d aus. Modelle aktualisieren Sie getrennt mit ollama pull deepseek-r1:8b; laut Ollama holt dieser Befehl auch neuere Fassungen desselben Tags. Nicht mehr benötigte Modelle entfernen Sie mit ollama rm.

Verifizieren: curl -s -o /dev/null -w '%{http_code}\n' http://SERVER-IP:11434/api/version von einem anderen Rechner aus schlägt fehl, weil der Port nur an 127.0.0.1 gebunden ist. Lokal liefert derselbe Aufruf auf 127.0.0.1 den Wert 200.

Für Bestandsinstallationen sichern Sie vor dem Upgrade das Ollama-Volume und ändern den Image-Tag auf 0.40.2. Danach führen Sie docker compose pull und docker compose up -d aus. Ollama 0.40.2 wandelt ältere Modelle beim ersten Lauf im Hintergrund in das neuere Runner-Format um und behält die ursprünglichen Dateien für einen möglichen Rückwechsel. Planen Sie daher zusätzlichen Speicherplatz ein; entfernen Sie diese Sicherungen nicht vor einer erfolgreichen Funktionsprüfung. Im Praxistest startete der Dienst nach dem Wechsel von 0.35.0 auf 0.40.2 mit erhaltenem Volume. /api/version meldete 0.40.2, /api/tags antwortete erfolgreich.

Typische Fehler

„model not found“

Das Modell wurde noch nicht geladen oder der Tag ist falsch geschrieben. Die API antwortet dann mit {"error":"model 'deepseek-r1:70b' not found"}. Laden Sie es mit ollama pull.

Denkkette trotz „think“: false

Im Test lieferte deepseek-r1:1.5b auch mit "think": false eine Denkkette im Feld thinking. Laut Ollama hängt die Abschaltung davon ab, ob das Modell sie unterstützt; für dieses Modell gab /api/show keine Steuerwerte an. Blenden Sie das Feld in Ihrer Anwendung aus.

Antworten brechen mitten im Denken ab

Der Kontext ist voll. Ohne Einstellung nutzt Ollama bei weniger als 24 GB VRAM 4096 Token, das reicht bei langen Denkketten nicht. Erhöhen Sie OLLAMA_CONTEXT_LENGTH oder num_ctx.

Sehr langsame Antworten trotz GPU

ollama ps zeigt einen CPU-Anteil: Das Modell passt nicht vollständig in den VRAM. Wählen Sie die nächstkleinere Variante oder verringern Sie den Kontext.

Falsche Fakten in kleinen Modellen

Im Test nannte deepseek-r1:1.5b Salzburg als Hauptstadt Österreichs. Kleine Distillate verwechseln Fakten und denken oft auf Englisch. Für produktive Aufgaben nehmen Sie mindestens :8b und prüfen Ergebnisse.

Häufige Fragen

Kann ich DeepSeek V4 lokal betreiben?

Die Gewichte stehen unter MIT-Lizenz bei Hugging Face, sind aber Hunderte Gigabyte groß und zielen auf Rechenzentren. In der Ollama-Bibliothek gibt es V4 nur als Cloud-Modell, bei dem Daten zu Ollama übertragen werden.

Darf ich die Modelle kommerziell nutzen?

DeepSeek stellt die R1-Gewichte unter MIT-Lizenz, die kommerzielle Nutzung erlaubt. Für die Distillate gelten zusätzlich die Lizenzen der Grundmodelle: Apache 2.0 bei den Qwen-Varianten, die Llama-3.3-Lizenz bei :70b.

Welche Variante ist der beste Einstieg?

deepseek-r1:8b ist der Standard-Tag und die neueste Fassung (R1-0528 auf Qwen3). Auf einer GPU mit 8 GB läuft sie vollständig im VRAM.

Bleiben meine Daten lokal?

Die Verarbeitung lokaler Modelle findet auf Ihrem Server statt, solange Sie keine Tags mit :cloud verwenden. Eine Internetverbindung braucht Ollama zum Laden der Modelle.

Fazit

DeepSeek lokal heißt 2026: R1-Distillate über Ollama. Die Variante :8b auf einer GPU mit 8 GB ist der sinnvolle Einstieg, :14b und :32b lohnen sich mit 12 beziehungsweise 24 GB VRAM. Die aktuellen V4-Modelle bleiben Rechenzentren und Cloud-Diensten vorbehalten. Setzen Sie den Kontext bewusst, binden Sie die API an 127.0.0.1 und prüfen Sie Ergebnisse kleiner Modelle, bevor sie in Entscheidungen einfließen.

Weiterführende Anleitungen und Quellen

• Ollama und Open WebUI mit Docker
• Ollama-Modelle richtig auswählen
• GGUF, AWQ und GPTQ erklärt
• GPU für lokale KI auswählen
• Docker und Docker Compose auf Linux installieren
• Ollama: deepseek-r1
• Ollama: deepseek-v4-pro (Cloud)
• DeepSeek auf Hugging Face
• Ollama FAQ (Kontext, Keep-Alive, Netzwerk)
• Ollama: Thinking
• ollama/ollama auf Docker Hub