Anleitungen: Künstliche Intelligenz
Künstliche Intelligenz verändert, wie wir arbeiten – vom automatisierten Kundenservice bis zur Code-Generierung. Hier findest du verständliche Anleitungen, aktuelle News und ehrliche Tool-Tests rund um KI im Unternehmens- und IT-Alltag. Ohne Hype, mit Fokus auf das, was in der Praxis wirklich funktioniert.
DeepSeek R1 lokal betreiben: Modellwahl, Quantisierung und VRAM-Bedarf
Welches DeepSeek-R1-Distillat passt zu deiner GPU? Konkrete VRAM-Tabellen für 1,5B bis 32B, Q4_K_M GGUF vs. AWQ erklärt und Ollama-Setup in unter 20 Minuten – ohne Cloud, ohne Abo.
Qwen3 lokal betreiben: 4B bis 32B per Ollama und vLLM mit Thinking-Mode
Alibabas Qwen3 bietet einen schaltbaren Thinking-Mode: Ein Modell wechselt per /think zwischen Chain-of-Thought-Reasoning und direkten Antworten. Diese Anleitung zeigt Deployment per Ollama oder vLLM auf Consumer-GPUs – mit VRAM-Tabelle für 4B bis 32B.
Microsoft Phi-4 lokal betreiben: 14B Reasoning-Modell auf Consumer-GPU
Phi-4 von Microsoft schlägt GPT-4o auf Mathe- und Wissenschafts-Benchmarks – und läuft per Ollama oder Microsoft Foundry Local auf einer einzigen RTX 3080. Diese Anleitung zeigt beide Deploymentwege, erklärt die Quantisierungswahl für 8–12 GB VRAM und nennt die häufigsten Fallstricke.
QLoRA Fine-Tuning mit Unsloth: Eigenes LLM auf einer Consumer-GPU spezialisieren
Wer bereits ein lokales Llama- oder Qwen-Modell per Ollama betreibt, kann es mit QLoRA und Unsloth auf eigene Firmendaten spezialisieren – auf einer RTX 3060 oder RTX 4060 mit 8 GB VRAM, vollständig lokal und ohne Cloud-Abhängigkeit.
LM Studio als lokale KI-Workstation einrichten: Modelle verwalten, testen und per API bereitstellen
LM Studio ist die grafische Alternative zu Ollama für Windows-KMU ohne Docker-Kenntnisse: Modelle aus Hugging Face herunterladen, GGUF-Quantisierungen vergleichen und in 20 Minuten einen lokalen OpenAI-kompatiblen API-Server starten – komplett offline und kostenlos.
Continue.dev: GitHub Copilot selbst hosten in VS Code und JetBrains mit Ollama
Continue.dev ersetzt das kostenpflichtige GitHub-Copilot-Abo durch eine datenschutzkonforme, lokale Alternative. Mit Ollama als Inferenz-Engine läuft alles auf deiner eigenen Hardware – kein Code verlässt dein Netzwerk, keine Cloud-Abhängigkeit, null laufende Lizenzkosten.
Embedding-Server lokal betreiben: sentence-transformers und FastEmbed mit Qdrant
Qdrant läuft, aber was erzeugt die Vektoren? Diese Anleitung zeigt FastEmbed (direkt im qdrant-client, ONNX, keine GPU-Pflicht) und den Infinity Embedding Server (Docker, OpenAI-API) – DSGVO-konform auf eigener Hardware.
Strukturierte JSON-Ausgaben aus lokalen LLMs: Grammar-Constraints und JSON-Mode für zuverlässige Automatisierungen
Wer lokale LLMs in n8n-Workflows oder PowerShell-Skripte einbinden will, scheitert oft an unzuverlässigen Ausgaben. Mit Grammar-Sampling in llama.cpp und dem nativen JSON-Schema-Mode von Ollama erzwingst du exakt strukturierte JSON-Antworten – ohne manuelle Nachbearbeitung.
Open WebUI absichern: Benutzergruppen, RBAC und Modell-Zugriffssteuerung für den KI-Firmen-Chat
Open WebUI bringt ein vollständiges RBAC-System mit – Rollen, Gruppen, granulare Permissions und SSO-Integration. So verwandelst du das Einzel-Admin-Tool in eine sichere Team-Plattform, bei der jeder Mitarbeiter nur sieht und kann, was er soll.
CUDA-Umgebung korrekt aufsetzen: Treiber, Toolkit, cuDNN und PyTorch auf Ubuntu
Treiber zuerst, Toolkit danach, PyTorch zuletzt – wer die Reihenfolge ignoriert, kämpft mit rätselhaften Fehlern. Diese Anleitung führt dich Schritt für Schritt vom frischen Ubuntu-Server zur funktionsfähigen CUDA-Umgebung für PyTorch 2.7.0 und erklärt die häufigsten Fehlerquellen.