Anleitungen aus der Praxis
Getestete Schritt-für-Schritt-Anleitungen aus realen Kundenumgebungen — sicher, dokumentiert, nachvollziehbar.
LM Studio als lokale KI-Workstation einrichten: Modelle verwalten, testen und per API bereitstellen
LM Studio ist die grafische Alternative zu Ollama für Windows-KMU ohne Docker-Kenntnisse: Modelle aus Hugging Face herunterladen, GGUF-Quantisierungen vergleichen und in 20 Minuten einen lokalen OpenAI-kompatiblen API-Server starten – komplett offline und kostenlos.
Continue.dev: GitHub Copilot selbst hosten in VS Code und JetBrains mit Ollama
Continue.dev ersetzt das kostenpflichtige GitHub-Copilot-Abo durch eine datenschutzkonforme, lokale Alternative. Mit Ollama als Inferenz-Engine läuft alles auf deiner eigenen Hardware – kein Code verlässt dein Netzwerk, keine Cloud-Abhängigkeit, null laufende Lizenzkosten.
Embedding-Server lokal betreiben: sentence-transformers und FastEmbed mit Qdrant
Qdrant läuft, aber was erzeugt die Vektoren? Diese Anleitung zeigt FastEmbed (direkt im qdrant-client, ONNX, keine GPU-Pflicht) und den Infinity Embedding Server (Docker, OpenAI-API) – DSGVO-konform auf eigener Hardware.
Strukturierte JSON-Ausgaben aus lokalen LLMs: Grammar-Constraints und JSON-Mode für zuverlässige Automatisierungen
Wer lokale LLMs in n8n-Workflows oder PowerShell-Skripte einbinden will, scheitert oft an unzuverlässigen Ausgaben. Mit Grammar-Sampling in llama.cpp und dem nativen JSON-Schema-Mode von Ollama erzwingst du exakt strukturierte JSON-Antworten – ohne manuelle Nachbearbeitung.
Open WebUI absichern: Benutzergruppen, RBAC und Modell-Zugriffssteuerung für den KI-Firmen-Chat
Open WebUI bringt ein vollständiges RBAC-System mit – Rollen, Gruppen, granulare Permissions und SSO-Integration. So verwandelst du das Einzel-Admin-Tool in eine sichere Team-Plattform, bei der jeder Mitarbeiter nur sieht und kann, was er soll.
CUDA-Umgebung korrekt aufsetzen: Treiber, Toolkit, cuDNN und PyTorch auf Ubuntu
Treiber zuerst, Toolkit danach, PyTorch zuletzt – wer die Reihenfolge ignoriert, kämpft mit rätselhaften Fehlern. Diese Anleitung führt dich Schritt für Schritt vom frischen Ubuntu-Server zur funktionsfähigen CUDA-Umgebung für PyTorch 2.7.0 und erklärt die häufigsten Fehlerquellen.
GGUF, AWQ und GPTQ erklärt: Welches Quantisierungsformat für welchen Zweck
GGUF, AWQ oder GPTQ – die Wahl des richtigen Quantisierungsformats entscheidet darüber, wie schnell und effizient dein lokales LLM läuft. Dieser Vergleich zeigt dir anhand konkreter Benchmarks und eines klaren Entscheidungsbaums, welches Format zu deiner Hardware und deinem Use-Case passt.
Langfuse selbst hosten: LLM-Observability und Audit-Logging für KI-Anwendungen
Langfuse ist die selbst gehostete Observability-Plattform für LLM-Anwendungen: vollständige Traces, Kosten- und Qualitätsmetriken sowie DSGVO-konformes Audit-Logging – als logische Ergänzung zu LiteLLM-Proxy und Ollama.
OpenHands als selbst gehosteten KI-Coding-Agenten einrichten (Docker + Ollama)
OpenHands löst GitHub-Issues selbstständig, schreibt Tests und erstellt Pull Requests – alles in einem Docker-Container, wahlweise mit lokalem Ollama-Backend ohne Cloud-Abhängigkeit. Diese Anleitung zeigt, wie du den KI-Coding-Agenten in 30 Minuten einrichtest.
Open WebUI erweitern: Tools, Functions und Pipelines selbst bauen und einbinden
Von der Chat-Oberfläche zur KI-Plattform: Eigene Python-Tools für Kalenderabfragen, GLPI-Tickets und SearXNG-Suche in Open WebUI einbinden – Schritt für Schritt, ohne Cloud-Abhängigkeit.