llama.cpp: Test, Kosten & Souveränität

LLM-Inferenz in C/C++ auf fast jeder Hardware - vom Laptop ohne GPU bis zum Server, mit GGUF-Quantisierung und eingebautem HTTP-Server.

kein US-Bezug Open Source gemeinnützig selbst hostbar
3.8

Einschätzung

Fuer alle richtig, die Modelle auf vorhandenem Cast - vom CPU-Laptop bis zur Apple-Silicon-Maschine - laufen lassen wollen: MIT-Lizenz, GGUF als Format, eingebauter OpenAI-kompatibler Server, breiteste Hardware-Abdeckung der Runde. Nimm lieber vLLM, wenn dauerhaft mehrere Nutzer auf Server-GPUs bedient werden muessen. Behandle den llama-server wie jeden Internet-Dienst: RPC- und Server-Ports haben 2024/2025/2026 RCE-Advisories gehabt - exponiert betrieben ist das ein Ziel, nicht ein Feature.

Warum 3.8/10?

Souveränität & Jurisdiktion 22% 6
Verschlüsselung & Datenzugriff 26% 0
Eigentümer & Historie 14% 3.5
Ausstieg & Lock-in 10% 8.5
Sicherheit 8% 3
Ehrliche Kosten 10% 2
Alltag & Clients 10% 6.5

Platz #3 von 10 in ki - Gewichte in der Methodik · gewichtet für KI

++ Was hält

  • MIT-Lizenz, 135.000+ Stars, aeusserst aktive Entwicklung (Builds b12477 am Abruftag)
  • Lauf auf CPU, Apple Silicon, CUDA, Vulkan und iGPU - breiteste Hardware-Abdeckung
  • GGUF-Quantisierung macht grosse Modelle auf kleinem RAM nutzbar
  • Eingebauter llama-server mit OpenAI- und Anthropic-kompatiblen Routen, Parallel-Decoding und Continuous Batching

-- Was du prüfen solltest

  • Sicherheits-Bilanz: mehrfaeche Heap-Overflow-/RCE-Advisories (RPC-Backend, GGUF-Parser, Tokenizer)
  • Nightly-Build-Kultur: b-Nummern statt klassischer Releases, v1.0.0 erst im November 2026
  • Performance fuehrt gegen spezialisierte Engines - Community-Messung zeigt 2,43x fuer einen Konkurrenten auf Strix Halo
  • Kein Enterprise-Support, Wartung ist Community-Sache

So startest du bei llama.cpp

Identitätsprüfungkeine
EinstiegspreisPreis beim Anbieter
AuszugGGUF-Modelldateien, OpenAI-kompatible API, Metadaten exportierbar

Werte aus den Fakten dieser Seite (Stand: 2026-11-17). Preisangaben ohne Gewähr - vor der Anmeldung beim Anbieter gegenprüfen.

Überblick

llama.cpp ist die Engine, mit der das lokale-Modell-Zeitalter praktisch wurde: LLM-Inferenz in C/C++ [1], MIT-Lizenz [2], 135.538 Stars. Das README formuliert das Ziel als Inferenz mit "minimal setup" auf einer breiten Hardware-Palette - lokal und in der Cloud [3]. Der Hacker-News-Start 2023 mit dem Apple-Silicon-Support [10] und der 6-GB-RAM-Meilenstein [11] machen klar, warum: Quantisierung auf GGUF-Basis machte grosse Modelle auf kleinem Cast lauffaehig. Der Archiv-Snapshot des README dokumentiert den Formulierungsstand [4].

Im November 2026 erreichte das Projekt v1.0.0 - nach eigenen Worten eine staerkere Basis fuer das lokale-KI-Oekosystem, nach 3,5 Jahren [7]. Die Community diskutiert das weniger als Reifezeichen denn als verbindliche API-/ABI-Fassung [16][22]; der tagtaegliche Release-Takt bleibt bei Nightly-Builds mit b-Nummern (b12477 am Abruftag) [6].

Funktionsweise & Sicherheit

Die Engine laeuft auf CPU, Apple Silicon, CUDA, Vulkan und iGPUs; die Hardware-Breite reicht bis zur gehackten PS5, auf der GGUF-Modelle nativ laufen [12]. Der eingebaute llama-server macht daraus einen reinen C/C++-HTTP-Server mit OpenAI-kompatiblen Chat-, Responses- und Embeddings-Routen, Anthropic-kompatiblen Completions, Parallel-Decoding und Continuous Batching [5]. Ein Einzeiler startet Server plus Modell direkt von Hugging Face [3].

Die Sicherheitsseite braucht Konsequenz. Das kritisch eingestufte RPC-Advisory beschreibt, wie deserialize_tensor() bei einem Buffer-Wert von 0 jede Grenzpruefung ueberspringt - laut Advisory "No authentication required, just TCP access to the RPC server port", mit vollem ASLR-Bypass und Remote Code Execution [9]. Der GGUF-Parser hatte mehrfaeche Heap-Overflow-Befunde ueber b\u00f6sartige Modell-Dateien [8], und unabhaengige Forschung hat das per RCE-Demo bestaetigt [13]. Consequence: Modelle nur aus vertrauenswuerdigen Quellen laden, Server- und RPC-Ports nur an localhost binden oder hinter Authentifizierung legen.

Datenhoheit & Ausstieg

Es gibt keinen Betreiber und kein Konto - Inferenz passiert im eigenen Prozess, auf der eigenen Hardware. Die Datenhoheits-Frage reduziert sich auf die Modellquelle (Hugging-Face-Downloads) und auf die Frage, wem der llama-server gehoert, falls du ihn startest [3][5]. Training findet in der Engine nicht statt; der Chat-Verlauf liegt im eigenen Dateisystem, und wer es ganz minimal haelt, nutzt die CLI ohne jede Dauerablage.

Der Ausstieg ist der leichteste der Runde: GGUF-Dateien sind das De-facto-Format des lokalen Marktes und laufen in Ollama, Jan, LM Studio und Konsorten ebenso. Wer die llama.cpp-API direkt nutzt, hat mit v1.0.0 eine stabile ABI-Fassung, aber Integratoren muessen bei den Major-Bumps Update-Arbeit einplanen [22].

Installation & Betrieb

Die Installationswege reichen vom Installations-Skript ueber Docker bis zu fertigen Binaries und dem Build aus dem Quelltext [3]. Der Betrieb ist Konfigurationsarbeit: Backends (CUDA, Vulkan, Metal, iGPU) und Flags brauchen Einarbeitung, und die Audio-Funktionen (ASR/TTS) sind gegenueber der Text-Inferenz die duennere Seite [18]. Auf dem Mac ist llama.cpp der etablierte Weg fuer schnelle Inferenz, auch in macOS-VMs [14].

Der llama-server verdient eine eigene Betrachtung, weil er die Bruecke zum Betrieb ist: Er ist ein "fast, lightweight, pure C/C++ HTTP server", also kein externer Webserver-Stack, sondern ein eingebetteter Prozess mit Parallel-Decoding und Continuous Batching fuer mehrere gleichzeitige Nutzer [5]. Damit kann eine einzige llama.cpp-Instanz einen kleinen Haushalt oder ein Team bedienen - ohne Python-Umgebung, ohne Container-Zwang, mit denselben GGUF-Dateien, die auch der Desktop-Kollege (Jan, LM Studio, Ollama) liest [5][19]. Genau diese Schlichtheit hat ihren Preis: Es gibt kein Rechtemanagement, keine Nutzerverwaltung und kein Cost-Limit - alles davon muss davor geschaltet werden, wenn der Port ueber den eigenen Rechner hinausgehen soll [9].

Die Erwartungshaltung bei der Performance ist datengetrieben: Sichtbare Gewinne von Release zu Release sind dokumentiert [15], und alte Hardware liefert brauchbare Durchsaetze - rund 40 Tokens pro Sekunde auf einer 1070ti mit 8 GB [19]. Gegenueber spezialisierten Engines ist die Engine nicht ueberall vorn: Auf Strix Halo misst die Community den 2,43-fachen Durchsatz fuer einen Konkurrenten bei gleicher Qualitaet [17].

Vorfälle & Warnzeichen

Die Advisory-Historie ist die Signatureigenschaft dieser Runde: RPC-RCE ohne Authentifizierungspflicht [9], Out-of-bounds-Writes im llama-server [8], GGUF-Parser-Overflows [8] und Tokenizer-Overflows [8] ueber drei Jahre. Unabhaengige RCE-Forschung auf Hacker News bestaetigt den Ernstfall [13]. Nichts davon trifft den lokalen Chat auf dem eigenen Schreibtisch - alles davon trifft exponierte Ports und geladene Fremd-Modelle.

Seit v1.0.0 ist die Versionierung verbindlich, was Security-Fixes leichter zuordenbar macht [7][22]. Der Release-Feed zeigt weiterhin mehrere Builds pro Tag [6] - Updates kosten kaum Aufwand und sollten mitlaufen. Fuer den Alltag genuegt eine einfache Regel aus dieser Bilanz: Wenn ein Advisory erscheint, den laufenden Server neu bauen, bevor er wieder den Port oeffnet [8][9].

Was Nutzer berichten

Positiv: Die Performance-Entwicklung wird als Kernargument erklaert [15], die Hardware-Breite (PS5, alte GPUs, Apple Silicon) als einzigartig in der Runde erlebt [12][19][14], und die Einordnung von X lautet, dass llama.cpp die lokale KI angefuehrt hat [21]. Neutral-kritisch: Die Release-Kultur mit b-Nummern und jetzt ABI-Bruenden [16][22], Konfigurationsfragen [18] und der Wettbewerbsvergleich auf Strix Halo [17]. Von den erfassten Stimmen sind acht positiv, zwei negativ, vier neutral.

Schmerzpunkte & Loesungen

  • Exponierte Ports: RPC- und Server-Port an localhost binden oder hinter Authentifizierung legen [9].
  • Fremd-Modelle: GGUF-Dateien nur aus vertrauenswuerdigen Quellen laden [8][13].
  • Flags-Wald: Mit dem Installations-Skript und dem llama-serve-Einzeiler beginnen, erst danach Backends feintunen [3].
  • ABI-Spruenge: v1.0.0 als Anker nutzen, Nightly-Builds bewusst einsetzen [6][22].

Alternativen

Innerhalb der Aufgabe KI: Ollama als Komfortschicht auf derselben Engine, Jan als Desktop-App mit Hub und GUI, vLLM fuer Mehrnutzer-Serving auf Server-GPUs. Fuer CPU-/Consumer-GPU-Einzelplatz bleibt llama.cpp die Basis, auf der alle anderen Wege aufsetzen [19].

Fazit

Fuer einsteigen: wenn du Modelle auf vorhandenem Cast ohne Konto und ohne Lizenzkosten laufen lassen willst - vom alten Laptop bis zum Mac [1][3][10]. Nimm lieber vLLM, wenn dauerhaft mehrere Nutzer auf Server-GPUs bedient werden [17], oder eine Desktop-App, wenn dir Flags zu viele sind [20]. Meide llama.cpp mit exponierten RPC-/Server-Ports und Modell-Downloads aus fragwuerdigen Quellen - dort sitzen die dokumentierten RCE-Wege [8][9][13].

Fakten-Fazit

llama.cpp ist LLM-Inferenz in C/C++ - laut eigenem README mit "minimal setup" auf einer "wide range of hardware - locally and in the cloud" [3]. Die Lizenz ist MIT [2], das Repository zaehlt 135.538 Stars [1], und seit dem v1.0.0-Release vom November 2026 gibt es eine verbindliche API-/ABI-Basis [7][16]. Der eingebaute llama-server liefert OpenAI- und Anthropic-kompatible Routen mit Parallel-Decoding und Continuous Batching [5]. Die Kehrseite sitzt im Security-Protokoll: Das RPC-Backend hatte ein kritisch eingestuftes unauthentifiziertes RCE - laut Advisory genuegte TCP-Zugriff auf den Port [9] - und der GGUF-Parser sammelte Heap-Overflow-Befunde ueber b\u00f6sartige Modell-Dateien [8], die unabhaengige Forschung per RCE-Demo bestaetigte [13].

Von der Redaktion verfasst - Faktenstand 2026-11-17

Quellen

  1. GitHub-Repository ggml-org/llama.cpp 2026-11-17
  2. Lizenzdatei llama.cpp (MIT) 2026-11-17
  3. README von llama.cpp 2026-11-17
  4. Archiv-Sicherung des README (27.10.2026) 2026-11-17
  5. llama-server-Doku 2026-11-17
  6. Release-Feed llama.cpp 2026-11-17
  7. Hugging-Face-Blog - llama.cpp v1.0.0 2026-11-17
  8. GitHub Security Advisories ggml-org/llama.cpp 2026-11-17
  9. GHSA-j8rj-fmpv-wcxw (RPC-RCE, kritisch) 2026-11-17
  10. Hacker News - Port-Ankuendigung 2026-11-17
  11. Hacker News - 30B mit 6 GB RAM 2026-11-17
  12. Hacker News - PS5-Port 2026-11-17
  13. Hacker News - Heap-Overflow-RCE-Forschung 2026-11-17
  14. Hacker News - Apple Silicon und macOS-VMs 2026-11-17
  15. r/LocalLLaMA - Performance-Verlauf 2026-11-17
  16. r/LocalLLaMA - v1.0.0-Diskussion 2026-11-17
  17. r/LocalLLaMA - Konkurrenz-Messung Strix Halo 2026-11-17
  18. r/LocalLLaMA - Audio-Frage 2026-11-17
  19. X - Durchsatz auf alter GPU 2026-11-17
  20. X - japanischer Anfaenger-Vergleich 2026-11-17
  21. X - Einordnung des lokalen-KI-Fortschritts 2026-11-17
  22. Bluesky - v1.0.0-Meldung 2026-11-17

Alternativen zu llama.cpp

Wer llama.cpp nicht will, findet in der Aufgabe KI die ehrlichsten Vergleichsfälle - gleiche Aufgabe, gleiche Messlatte.

Nutzerkommentare (0)

Noch keine Kommentare.