Lokale-KI-Hardware-Rechner
Lokale KI braucht kein Rechenzentrum - aber die richtige Größe. Wähle Modellgröße und Quantisierung, der Rechner sagt, ob dein RAM/VRAM reicht und was sonst noch läuft.
Annahmen, Quellen & Stand
Rechnung: Gewicht ≈ Parameter × Bits ÷ 8, plus ~10 % Overhead (Tokenizer, Buffers), plus KV-Cache ≈ 0,6 GB × Parametergröße/8 × Kontext/8192. Das ist eine Näherung für Decoder-Modelle mit GQA - reale GGUF-Dateigrößen weichen wenige Prozent ab. Modelle: Qwen, Llama, Mistral, gpt-oss (alles offen, läuft lokal via Ollama/LM Studio).
