Microsoft Phi-4 lokal betreiben: 14B Reasoning-Modell auf Consumer-GPU

Microsoft Phi-4 ist ein Sprachmodell mit 14 Milliarden Parametern (14B), das laut Modellkarte auf Mathe- und Reasoning-Benchmarks vor GPT-4o liegt: 80,4 % auf MATH (GPT-4o: 74,6 %) und 56,1 % auf GPQA (GPT-4o: 50,6 %). Die MIT-Lizenz erlaubt kommerzielle Nutzung und Fine-Tuning. Diese Anleitung zeigt, wie Sie Phi-4 per Ollama (Linux, macOS, Windows), per Microsoft Foundry Local (Windows) oder direkt per llama.cpp auf eigener Hardware betreiben und welche Quantisierungsstufe zu Ihrer GPU passt.

Voraussetzungen

• GPU mit mindestens 8 GB VRAM – empfohlen RTX 3080 (10 GB oder 12 GB) für Phi-4 14B; Phi-4-mini läuft ab etwa 4 GB VRAM
• Aktueller NVIDIA-Treiber (für CUDA-Beschleunigung in Ollama und llama.cpp)
• Ollama installiert (ollama.com) – verfügbar für Windows, Linux und macOS
• Für Foundry Local: Windows 11 Version 24H2 (Build 26100) oder neuer, x64 oder Arm64, winget (in Windows 11 vorinstalliert)
• Für SDK-Integration: Python 3.11+, .NET 9 SDK oder Node.js 20+
• Internetzugang für den initialen Modell-Download (Phi-4 14B Q4_K_M: ca. 9,1 GB)
• Optional: Hugging-Face-Konto für direkten GGUF-Download von bartowski/phi-4-GGUF

Phi-4 im Überblick: Warum das Modell besonders ist

Microsoft hat Phi-4 auf 9,8 Billionen Token trainiert, mit einem hohen Anteil synthetischer, lehrbuchartiger Daten. Das zahlt sich vor allem bei Mathe- und Reasoning-Aufgaben aus. Phi-4-mini (3,8B) ist die kompaktere Variante für 4-GB-Karten, phi-4-mini-reasoning ein auf Reasoning spezialisierter Foundry-Local-Alias. Die Werte der großen Modelle stammen aus der Modellkarte von Phi-4:

Phi-4 ist überwiegend auf englische Daten trainiert (rund 8 % mehrsprachig). Englische Prompts liefern deshalb konsistentere Ergebnisse.

Schritt 1: Quantisierung und VRAM wählen

Wählen Sie vor dem Download die Quantisierungsstufe passend zu Ihrer GPU. Die Werte gelten für Phi-4 14B unter Ollama oder llama.cpp. Die Ollama-Bibliothek bietet nur Q4_K_M, Q8_0 und FP16 an, die übrigen Stufen laden Sie als GGUF von bartowski/phi-4-GGUF:

Faustregel RTX 3080 10 GB: Verwenden Sie Q4_K_S. Q4_K_M ist möglich, aber knapp; bei langem Kontext drohen Out-of-Memory-Fehler (OOM). Die 12-GB-Variante hat genug Puffer für Q4_K_M. Auf 8-GB-Karten bleibt für reine GPU-Inferenz nur Q3_K_M.

Schritt 2: Phi-4 per Ollama deployen

Ollama ist der einfachste Einstieg und läuft plattformübergreifend. Ein Befehl lädt Phi-4 herunter und startet es:

# Phi-4 14B (Standard Q4_K_M, 9,1 GB) – herunterladen und sofort starten:
ollama run phi4:14b

# Phi-4-mini (3,8B, ca. 2,5 GB) – für 4–8 GB VRAM:
ollama run phi4-mini

# Kleinere Quantisierung Q4_K_S (RTX 3080 10 GB) als GGUF von Hugging Face:
ollama run hf.co/bartowski/phi-4-GGUF:Q4_K_S

Beim ersten Aufruf lädt Ollama das Modell herunter und öffnet eine interaktive Chat-Shell. Auf 10-GB-Karten nehmen Sie statt des Standard-Tags die Q4_K_S-Variante: Sie ist kleiner und lässt der GPU mehr Puffer für den KV-Cache.

# Installierte Modelle anzeigen:
ollama list

# VRAM-Auslastung während Inferenz prüfen:
nvidia-smi

Für Anwendungen, die eine API benötigen, stellt Ollama automatisch einen OpenAI-kompatiblen Endpunkt unter http://localhost:11434 bereit. Damit lässt sich Phi-4 direkt in Tools wie Open WebUI oder in eigene Skripte einbinden.

Schritt 3: Phi-4 per Microsoft Foundry Local deployen (Windows)

Microsoft Foundry Local ist der Windows-eigene Weg für Phi-4. Das Tool benötigt kein Azure-Abonnement und läuft nach dem Modell-Download ohne Internetverbindung. Es wählt automatisch eine passende Modellvariante für GPU, NPU oder CPU. Der Katalog ändert sich laufend; prüfen Sie die Aliase deshalb immer mit foundry model list.

Installation:

# 1. Foundry Local über winget installieren:
winget install Microsoft.FoundryLocal

# 2. Neues Terminal öffnen (wichtig! PATH wird erst dann aktualisiert)

# 3. Installation prüfen:
foundry --version

Modelle entdecken und starten:

# Verfügbare Modelle anzeigen (Aliase exakt notieren!):
foundry model list

# Phi-4-mini starten (schneller Start, kleine GPUs):
foundry model run phi-4-mini

# Phi-4 (14B) starten (ab 10–12 GB VRAM):
foundry model run phi-4

# Phi-4-mini-reasoning (spezialisiert auf Reasoning-Aufgaben):
foundry model run phi-4-mini-reasoning

Schritt 4: Foundry Local per Python-SDK einbinden

Für eigene Anwendungen bietet Foundry Local SDKs für Python, C#, JavaScript und Rust. Unter Windows nutzen Sie das WinML-Paket für Hardware-Beschleunigung. Das offizielle Paket heißt foundry-local-sdk-winml, nicht foundry-local (fremdes Paket).

# Offizielles SDK installieren (Windows + GPU):
pip install foundry-local-sdk-winml openai
# app.py – Phi-4-mini mit Foundry Local SDK (Windows)
from foundry_local_sdk import Configuration, FoundryLocalManager

FoundryLocalManager.initialize(Configuration(app_name="mein-phi4-test"))
manager = FoundryLocalManager.instance

# Modell aus Katalog holen und laden
model = manager.catalog.get_model("phi-4-mini")
model.download(lambda p: print(f"\r{p:.0f}%", end="", flush=True))
model.load()

# OpenAI-kompatibler Chat-Client
client = model.get_chat_client()
for chunk in client.complete_streaming_chat(
    [{"role": "user", "content": "Erkläre Newtons drittes Gesetz auf Englisch."}]
):
    print(chunk.choices[0].delta.content or "", end="", flush=True)

model.unload()

Für C# (.NET 9 SDK) und Node.js 20+ gibt es entsprechende WinML-Pakete:

# C# / .NET:
dotnet add package Microsoft.AI.Foundry.Local.WinML
dotnet add package OpenAI

# Node.js:
npm install foundry-local-sdk-winml openai

Foundry Local stellt zusätzlich eine OpenAI-kompatible REST-API auf einem lokalen Port bereit, die Sie in Tools mit OpenAI-kompatiblem Endpunkt eintragen.

Schritt 5: Phi-4 direkt per llama.cpp (GGUF)

Wer maximale Kontrolle über Quantisierung, Kontextlänge und Sampling-Parameter benötigt, kann Phi-4 auch direkt über llama.cpp laufen lassen. Die GGUF-Dateien stellt der Community-Maintainer bartowski auf Hugging Face bereit:

# GGUF-Datei direkt von Hugging Face laden (CLI "hf" ist Teil von huggingface_hub):
pip install -U huggingface_hub
hf download bartowski/phi-4-GGUF phi-4-Q4_K_M.gguf --local-dir ./models

# Inferenz starten (-ngl 999 = alle Layer auf GPU, -c 16384 = volles Kontextfenster):
./llama-cli -m models/phi-4-Q4_K_M.gguf -ngl 999 -c 16384 -fa on --temp 0.4 --min-p 0.05

Phi-4 unterstützt 16.384 Token Kontext. -c 16384 legt diesen Wert fest; auf 10-GB-Karten senken Sie ihn bei OOM auf 8192. -fa on aktiviert Flash Attention für niedrigeren VRAM-Verbrauch bei langen Kontexten; aktuelle llama.cpp-Versionen erwarten dafür den Wert on, off oder auto.

Troubleshooting / Typische Fehler

Falsches PyPI-Paket installiert

pip install foundry-local installiert ein fremdes Drittanbieter-Paket, nicht das offizielle SDK. Das offizielle Paket heißt foundry-local-sdk (plattformübergreifend) oder foundry-local-sdk-winml (Windows mit Hardware-Beschleunigung). Im Zweifel: pip show foundry-local-sdk-winml zeigt an, ob das richtige Paket installiert ist.

Paket-Konflikt: foundry-local-sdk und foundry-local-sdk-winml

Beide Pakete pinnen unterschiedliche Versionen von onnxruntime-core und können nicht gleichzeitig in derselben Python-Umgebung installiert sein. Lösung: Eine virtuelle Umgebung (python -m venv .venv) pro Projekt verwenden und nur eines der beiden Pakete installieren.

OOM auf RTX 3080 10 GB mit Q4_K_M

Q4_K_M belegt rund 10–12 GB VRAM. Bei der 10-GB-Variante der RTX 3080 kann es bei langen Prompts zu Out-of-Memory-Fehlern kommen. Lösung: ollama run hf.co/bartowski/phi-4-GGUF:Q4_K_S verwenden oder die Kontextlänge begrenzen.

foundry-Befehl nach Installation nicht gefunden

Nach winget install Microsoft.FoundryLocal muss das Terminal neu geöffnet werden, damit der foundry-Befehl im PATH verfügbar ist. In der gleichen Terminal-Session funktioniert der Befehl noch nicht.

Falscher Modell-Alias in Foundry Local

Die Aliase phi-4 und phi-4-mini müssen exakt stimmen. Ein Tippfehler führt zu einer unklaren Fehlermeldung. Zuerst immer foundry model list ausführen und den genauen Alias kopieren.

Foundry Local in VMs ohne GPU-Passthrough

Das WinML-Backend benötigt eine physische DirectX-12-GPU. In VMs ohne GPU-Passthrough liefert das Modell leere Antworten – ohne Fehlermeldung. In diesem Szenario ist Ollama die bessere Wahl (CPU-Fallback funktioniert dort zuverlässig).

OGA-Warnings beim Programmende

Meldungen wie „N instances leaked“ nach dem Programmende stammen vom ONNX Runtime GenAI und sind harmlos. Sie weisen auf interne Cleanup-Verzögerungen hin, nicht auf Fehler im eigenen Code.

Schlechtere Qualität bei deutschen Prompts

Phi-4 wurde überwiegend auf englischen Daten trainiert (ca. 8 % mehrsprachig). Für anspruchsvolle Reasoning-Aufgaben liefern englische Prompts konsistentere Ergebnisse. Deutsche Alltagstexte funktionieren gut, aber komplexe mehrstufige Schlussfolgerungen auf Deutsch können qualitativ abfallen.

Häufige Fragen

Läuft Phi-4 14B auf einer RTX 3080 mit 10 GB VRAM?

Mit Q4_K_S (ca. 10 GB VRAM-Bedarf) ist das möglich, aber knapp. Wählen Sie auf der 10-GB-Karte Q4_K_S mit kurzem Kontext; Q4_K_M passt besser auf die 12-GB-Variante. Phi-4-mini (3,8B) läuft auf 4 bis 8 GB.

Was ist der Unterschied zwischen Phi-4 und Phi-4-mini?

Phi-4 hat 14B Parameter und erreicht GPT-4o-Niveau auf Reasoning-Tasks (MATH: 80,4 %). Phi-4-mini hat 3,8B Parameter, ist deutlich schneller und passt auf kleinere GPUs, erreicht aber nur 62 % auf MATH. Phi-4-mini eignet sich für einfache Code-Assistenz und schnelle Antworten, Phi-4 für komplexe Analysen.

Brauche ich für Microsoft Foundry Local ein Azure-Abonnement?

Nein. Foundry Local läuft lokal ohne Azure-Abonnement und nach dem Modell-Download ohne Internetverbindung. Prompts und Antworten verlassen den Rechner nicht.

Lassen sich Foundry Local und Ollama gleichzeitig nutzen?

Ja, beide laufen unabhängig voneinander. Ollama belegt standardmäßig Port 11434, Foundry Local nutzt einen anderen Port. Beide bieten OpenAI-kompatible APIs, sodass Anwendungen bei Bedarf zwischen beiden wechseln können.

Ist Phi-4 für kommerzielle Projekte geeignet?

Ja. Die MIT-Lizenz erlaubt kommerzielle Nutzung, Fine-Tuning und Weitergabe, auch in proprietären Produkten. Beachten Sie den Lizenzhinweis bei der Weitergabe.

Welche Programmiersprachen unterstützt das Foundry Local SDK?

Python, C# (.NET 8+), JavaScript (Node.js 20+) und Rust. Für Windows mit Hardware-Beschleunigung gibt es jeweils WinML-Varianten der Pakete (-winml-Suffix). Die plattformübergreifenden Varianten laufen auch auf Linux und macOS, nutzen dann aber keinen Windows-ML-Beschleuniger.

Fazit

Phi-4 ist ein starkes Reasoning-Modell für den lokalen Betrieb. Mit einer RTX 3080 (12 GB) oder RTX 4070 starten Sie es per ollama run phi4:14b in wenigen Minuten, ohne Cloud und vollständig offline. Microsoft Foundry Local eignet sich unter Windows, wenn Sie Phi-4 per SDK und OpenAI-kompatibler API in eigene Anwendungen einbinden. Für 8-GB-Karten ist Phi-4-mini (3,8B) der Einstieg.

Für eine vollständige lokale KI-Umgebung mit Weboberfläche folgen Sie der Ollama + Open WebUI Anleitung. Andere Modelle mit VRAM- und Quantisierungsempfehlungen vergleicht die Übersicht Ollama-Modelle 2026 richtig auswählen. Ein weiteres lokales Reasoning-Modell beschreibt DeepSeek R1 lokal betreiben.

Weiterführende Anleitungen und Quellen

1. Ollama und Open WebUI mit Docker: eigenes lokales KI-Sprachmodell ohne Cloud betreiben
2. Ollama-Modelle 2026 richtig auswählen: VRAM, Quantisierung und Modellvergleich für KMU
3. DeepSeek R1 lokal betreiben: Modellwahl, Quantisierung und VRAM-Bedarf
4. GGUF, AWQ und GPTQ erklärt: Welches Quantisierungsformat für welchen Zweck
5. Microsoft Phi-4 – Hugging Face Modellkarte (offiziell)
6. Ollama Library – phi4:14b
7. Microsoft Learn – Get started with Foundry Local (Windows AI)

Passende Anleitungen auf S-EDV

1. NVIDIA GPU Display Driver: 14 Sicherheitslücken geschlossen