Anleitungen: Künstliche Intelligenz
Künstliche Intelligenz verändert, wie wir arbeiten – vom automatisierten Kundenservice bis zur Code-Generierung. Hier findest du verständliche Anleitungen, aktuelle News und ehrliche Tool-Tests rund um KI im Unternehmens- und IT-Alltag. Ohne Hype, mit Fokus auf das, was in der Praxis wirklich funktioniert.
QLoRA Fine-Tuning mit Unsloth: Eigenes LLM auf einer Consumer-GPU spezialisieren
Wer ein lokales Llama- oder Qwen-Modell per Ollama betreibt, spezialisiert es mit QLoRA und Unsloth auf eigene Firmendaten: auf einer RTX 3060 oder RTX 4060 mit 8 GB VRAM, vollständig lokal und ohne Cloud.
LM Studio als lokale KI-Workstation einrichten: Modelle verwalten, testen und per API bereitstellen
LM Studio unter Windows einrichten: GGUF-Modelle aus Hugging Face laden, die passende Quantisierung wählen und einen lokalen OpenAI-kompatiblen API-Server starten, auch ohne Oberfläche per lms und llmster.
Continue.dev: GitHub Copilot selbst hosten in VS Code und JetBrains mit Ollama
Continue.dev ist eine quelloffene Alternative zu GitHub Copilot für VS Code und JetBrains. Mit Ollama laufen Autocomplete und Chat auf eigener Hardware, der Code verlässt Ihr Netzwerk nicht.
Embedding-Server lokal betreiben: sentence-transformers und FastEmbed mit Qdrant
Qdrant läuft, aber was erzeugt die Vektoren? Diese Anleitung zeigt FastEmbed (direkt im qdrant-client, ONNX, keine GPU-Pflicht) und den Infinity Embedding Server (Docker, OpenAI-API) – DSGVO-konform auf eigener Hardware.
Strukturierte JSON-Ausgaben aus lokalen LLMs: Grammar-Constraints und JSON-Mode für zuverlässige Automatisierungen
Lokale LLMs liefern ohne Vorgaben oft unzuverlässige Ausgaben. Mit Grammar-Sampling in llama.cpp und dem JSON-Schema-Mode von Ollama erzwingen Sie exakt strukturierte JSON-Antworten für PowerShell-Skripte, n8n-Workflows und Python, ohne manuelle Nachbearbeitung.
Open WebUI absichern: Benutzergruppen, RBAC und Modell-Zugriffssteuerung für den KI-Firmen-Chat
Open WebUI bringt Rollen, Gruppen, granulare Berechtigungen und SSO mit. So machen Sie aus dem Einzel-Admin-Tool eine abgesicherte Team-Plattform, auf der jeder Mitarbeiter nur die Modelle und Funktionen nutzt, die er braucht.
CUDA-Umgebung korrekt aufsetzen: Treiber, Toolkit, cuDNN und PyTorch auf Ubuntu
Treiber zuerst, dann PyTorch mit dem passenden CUDA-Paket, Toolkit und cuDNN nur bei Bedarf: So richten Sie auf Ubuntu Server eine CUDA-Umgebung mit PyTorch 2.14, CUDA 13 und Treiberzweig 580 ein und prüfen jede Schicht einzeln.
GGUF, AWQ und GPTQ erklärt: Welches Quantisierungsformat für welchen Zweck
GGUF, AWQ und GPTQ im Vergleich: welches Quantisierungsformat zu CPU, Apple Silicon, NVIDIA- oder AMD-GPU passt, mit Befehlen für Ollama, llama.cpp, vLLM und aktuellen Quantisierungswerkzeugen.
Langfuse selbst hosten: LLM-Observability und Audit-Logging für KI-Anwendungen
Langfuse ist die selbst gehostete Observability-Plattform für LLM-Anwendungen: vollständige Traces, Kosten- und Qualitätsmetriken sowie DSGVO-konformes Audit-Logging – als logische Ergänzung zu LiteLLM-Proxy und Ollama.
OpenHands Agent Canvas mit Docker und Ollama selbst betreiben
OpenHands Agent Canvas 1.24 per Docker Compose mit Ollama betreiben: Ordnerrechte für UID 10001, API-Schutz über OH_SESSION_API_KEYS_0, Zugriff per SSH-Tunnel und Modellanbindung mit großem Kontextfenster.