vLLM: Test, Kosten & Souveränität

Apache-2.0-Serving-Engine fuer LLMs auf Server-GPUs - PagedAttention als Kern, Zielpublikum Betreiber mit eigenem GPU-Hardwarebestand.

kein US-Bezug Open Source gemeinnützig selbst hostbar
3.7

Einschätzung

Fuer Betreiber mit Server-GPUs und konkurrierenden Nutzern der richtige Standard: hohe Durchsaetze, von der Community in Produktionsbauten belegt, Apache-2.0 ohne Lizenzfallstricke. Nimm lieber Ollama oder llama.cpp, wenn nur eine Person gelegentlich fragt oder die Hardware kein Datacenter-Modell ist. Behandle vLLM wie einen Internet-Dienst mit Angriffsflaeche: Die Advisories 2026 betreffen multimodale Eingaben, CORS-Defaults und Denial-of-Service - ein offen stehender vLLM-Port ist kein Freizeitobjekt.

Warum 3.7/10?

Souveränität & Jurisdiktion 22% 6
Verschlüsselung & Datenzugriff 26% 0
Eigentümer & Historie 14% 3.5
Ausstieg & Lock-in 10% 8.5
Sicherheit 8% 3
Ehrliche Kosten 10% 2
Alltag & Clients 10% 6

Platz #5 von 10 in ki - Gewichte in der Methodik · gewichtet für KI

++ Was hält

  • Apache-2.0, 97.000+ Stars, sehr aktive Releases (v0.34.0, Mitte November 2026)
  • PagedAttention-Design mit publizierten Durchsatz-Benchmarks (24x gegen HF Transformers, 3,5x gegen TGI)
  • OpenAI-kompatibler Server, in der Community fuer Produktionslasten belegt
  • Laeuft CUDA/ROCm/Intel-XPU/Apple Silicon, keine Lizenzklauseln

-- Was du prüfen solltest

  • Linux-only native Installation, kein nativer Windows-Support (WSL oder Forks)
  • GPU-Abhaengigkeit: Compute Capability 7.5+ fuer CUDA-Wheels
  • Versionsspruenge mit Verhaltensaenderungen - Community meldet Latenz-Regressionen in 0.34
  • Mehrfach Advisories 2026 (RCE-Kette via Ghostscript, Directory Traversal, CORS-Defaults)

So startest du bei vLLM

Identitätsprüfungkeine
EinstiegspreisPreis beim Anbieter
AuszugOpenAI-kompatible API, Standard-Modellgewichte, Metadaten exportierbar

Werte aus den Fakten dieser Seite (Stand: 2026-11-17). Preisangaben ohne Gewähr - vor der Anmeldung beim Anbieter gegenprüfen.

Überblick

vLLM ist eine Open-Source-Serving-Engine fuer LLMs, beschrieben als "high-throughput and memory-efficient inference and serving engine" [1]. Die Lizenz ist Apache-2.0 ohne Zusatzklauseln [1][2], das Repository zaehlt 97.101 Stars, und Releases erscheinen im Wochentakt - v0.34.0 Mitte November 2026 [3]. Entstanden ist das Projekt an UC Berkeley; der eigene Blogpost nennt Chatbot Arena und das Vicuna-Demo als fruehe Produktionsinstallationen [4].

Die Zielgruppe ist nicht der Schreibtisch, sondern der Server: Community-Belege arbeiten mit zwei DGX-Stationen und 607,8 Tok/s [11] oder 2.200 Tok/s pro H200 [12], und ein X-Beitrag beschreibt ein 120B-Modell in Produktion auf H100s mit Ray und vLLM [18]. Wer das nachbauen will, braucht genau diese Klasse von Hardware.

Funktionsweise & Sicherheit

Der Kern ist PagedAttention: Die KV-Cache-Verwaltung wird wie Seitenspeicher in einem Betriebssystem behandelt. Die publizierten Zahlen dazu stammen aus zwei Quellen, die man beide zitieren muss: der eigene Blogpost mit bis zu 24x Durchsatz gegen HF Transformers und 3,5x gegen TGI [4], und das SOSP-Paper mit 2-4x gegen FasterTransformer und Orca [5]. Die Ankuendigung schlug 2023 mit 295 Punkten auf Hacker News ein [13], und eine Archiv-Sicherung des Posts dokumentiert die Benchmark-Aussagen bis heute [7]. Fuer diese Rezension gilt: Das sind Betreiber-Messungen aus Kontrollversuchen, keine Garantien fuer deine Workload - die Community erinnert zurecht daran, dass ein schnelleres Deployment alle operativen Checks bestehen und trotzdem schlechtere Antworten liefern kann [21].

Als Server ist vLLM eine Angriffsflaeche. Die Advisories 2026 konzentrieren sich auf die Eingabepfade: Die Ghostscript-Eskalation ueber multimodale Bilder (eingestuft als hoch, betroffen 0.30.0, behoben 0.32.0) [9], ein Directory-Traversal-Information Disclosure ueber Speculators-Konfiguration (moderat, behoben 0.33.0) [10] und permissive CORS-Defaults am HTTP-Server [8]. Ein Mastodon-Hinweis dokumentiert zudem CVE-2026-93840 vor 0.29.0, bei dem falsch validierte Token-IDs Logits korrumpierten und Sampling zwischen gleichzeitigen Requests durchsickern konnte [20]. Die Huestung folgt daraus direkt: vLLM als Server exponieren ist Hosting-Entscheidung mit Konsequenzen, nicht Standardkonfiguration zum Mitdenken.

Datenhoheit & Ausstieg

Es gibt keinen Betreiber, der Prompts sieht - vLLM laeuft auf der eigenen GPU-Hardware, und alles, was der Server verarbeitet, bleibt im eigenen Netz. Die Datenhoheits-Frage verlagert sich vollstaendig auf die Modellgewichte, die du laedst, und auf den Zugriffsschutz vor deinem Server. Wer vLLM als Backend hinter einem eigenen Gateway betreibt, kennt jeden Datenfluss.

Der Ausstieg ist gering: Die Modelle sind Standard-Gewichte (Hugging Face), die API ist OpenAI-kompatibel, und ein Wechsel zu einer anderen Serving-Engine ist ein Deploymentschritt, keine Migration. Der Lock-in sitzt im Betriebssystem-Know-how, nicht im Datenbestand.

Installation & Betrieb

Die Installationsdoku zeichnet die Grenze klar: OS Linux, Python 3.11 bis 3.14, und fuer die CUDA-Wheels GPUs mit Compute Capability 7.5 oder hoeher - von T4 ueber A100 bis B200 [6]. Windows wird nativ nicht unterstuetzt; WSL oder Community-Forks sind die Umwege [6]. Fuer ROCm, Intel XPU und Apple Silicon gibt es eigene Pfade [1][6].

Der Betrieb ist Versionspflege: Die Community meldet fuer 0.34 eine 6- bis 18-Prozent hoeheren Per-Token-Latenz bei manchen H200-Modellen unter Concurrency 128 [19], ROCm-10-only-Artefakte und Verhaltensspruenge zwischen Versionen [16]. Positiv vermerkt: Determinismus ueber neun GPU-Typen mit Stock-vLLM [15], und Funktionstempo wie der PLE-Disk-Offload im Nightly [14]. Der Docker-Weg ist der gezaehmteste: Offizielle Images mit gebundenen CUDA-Versionen nehmen die Treiberfeinheiten aus der Installation heraus und sind der Pfad, den die meisten Produktionsbelege in dieser Recherche nutzen [6][18]. Wer vLLM betreibt, sollte Release-Notes lesen und Benchmarks vor dem Upgrade wiederholen.

Vorfälle & Warnzeichen

2026 gab es eine Folge von Advisories, die alle denselben Nerv treffen: Der Server verarbeitet feindliche Eingaben. Die Ghostscript-Kette ist der schwerste Befund - ein EPS-Payload, der als Bild deklariert wurde, konnte auf Hosts mit betroffenem Ghostscript den Sandbox-Escape ausfuehren (hoch, 0.30.0, Fix 0.32.0) [9]. Directory Traversal ueber Konfigurationsdateien (moderat, Fix 0.33.0) [10] und die CORS-Defaults [8] betreffen exponierte Server direkt. CVE-2026-93840 vor 0.29.0 zeigte, dass sogar Token-Validierung Logits korrumpieren kann [20].

Kein Vorfall betraf die Vertraulichkeit ruhender Daten - das Risiko sitzt im laufenden Dienst. Fuer das eigene Setup gilt: vLLM an localhost oder hinter einem authentifizierenden Gateway binden, nicht roh ins Internet stellen [8]. Die Release-Frequenz ist zugleich der Mechanismus, der diese Flaeche klein haelt: Advisories trugen in den erfassten Faellen durchweg eine behobene Version im naechsten Minor-Release [9][10].

Was Nutzer berichten

Die Einsatzgrenze formuliert die Community selbst: "ollama for quick tests, vllm once more than one person hits it" [17]. Produktionserfahrungen mit H100s [18], Grossskalierungen [11][12] und Tag-0-Support fuer neue Modelle [22] dominieren die positive Seite. Kritisch: Release-Regressionen bei der Latenz [19], ROCm-Migrationsreibung und WSL-Instabilitaet zwischen Versionen [15], und die Erinnerung, dass Durchsatzmessungen nichts ueber die Antwortqualitaet aussagen [21]. Von den erfassten Stimmen sind sieben positiv, vier negativ, drei neutral.

Schmerzpunkte & Loesungen

  • Exposition: Server nur an localhost oder hinter authentifizierendem Proxy betreiben - die CORS-Advisory zeigt den Grund [8].
  • Versionspruenge: Benchmarks vor und nach dem Upgrade wiederholen; die Latenz-Regression in 0.34 war per Release-Note nachvollziehbar [19].
  • Windows-Zwang: WSL nutzen oder auf llama.cpp/Ollama ausweichen - nativ laeuft vLLM dort nicht [6].
  • Qualitaetskontrolle: Neben Tok/s auch Antwortqualitaet messen; stille Genauigkeits-Regressionen sind dokumentiert [21].

Alternativen

Innerhalb der Aufgabe KI: Ollama und llama.cpp fuer Einzelplatz- und CPU-/Consumer-GPU-Betrieb, Jan fuer die Desktop-App. Fuer das Mehrnutzer-Serving auf Server-GPUs bleibt vLLM der belegte Standard - die Community vergleicht es mit SGLang, bestaetigt aber in den erfassten Stimmen immer wieder denselben Einsatzbereich [21].

Fazit

Fuer einsteigen: wenn du LLMs auf eigenen Server-GPUs fuer mehrere Nutzer serveen willst und Linux- sowie GPU-Betrieb beherrschst [1][6][11]. Nimm lieber Ollama oder llama.cpp, wenn einzelne Nutzer gelegentlich fragen oder deine Hardware unter Compute Capability 7,5 liegt [6][17]. Meide vLLM roh exponiert im Internet - die Advisories 2026 betreffen genau diese Konfiguration [8][9].

Fakten-Fazit

vLLM ist die Serving-Engine fuer LLMs auf Server-GPUs: Apache-2.0 [1][2], 97.101 Stars [1], Release v0.34.0 Mitte November 2026 [3]. Die Performance-Aussagen stammen nicht aus Marketing- Folien, sondern aus einem publizierten Benchmark und einem SOSP-Paper: bis zu 24x hoeherer Durchsatz gegen HuggingFace Transformers und 3,5x gegen TGI im eigenen Blogpost [4], 2-4x gegen FasterTransformer und Orca im Paper [5]. Der Preis ist Betriebshierarchie: Die Installationsdoku verlangt Linux, Python 3.11 bis 3.14 und GPUs mit Compute Capability 7.5 oder hoeher - Windows wird nativ nicht unterstuetzt [6]. Die Sicherheitsbilanz 2026 zeigt, dass ein Serving-Port eine echte Angriffsflaeche ist: Advisories reichen von einer Ghostscript-Eskalation ueber multimodale Eingaben (hoch, Fix 0.32.0) bis zu permissiven CORS-Defaults am HTTP-Server [7][8].

Von der Redaktion verfasst - Faktenstand 2026-11-17

Quellen

  1. GitHub-Repository vllm-project/vllm 2026-11-17
  2. Lizenzdatei vLLM (Apache-2.0) 2026-11-17
  3. Release-Feed vLLM 2026-11-17
  4. vLLM-Blog - PagedAttention-Ankuendigung 2026-11-17
  5. SOSP-Paper (arXiv 2309.06180) 2026-11-17
  6. vLLM-Installationsdoku (GPU) 2026-11-17
  7. Archiv-Sicherung des Blogposts 2026-11-17
  8. GitHub Security Advisories vllm-project/vllm 2026-11-17
  9. GHSA-h3rc-j82p-2c3h (Ghostscript-Eskalation) 2026-11-17
  10. GHSA-qrj2-j723-m6w8 (Directory Traversal) 2026-11-17
  11. Hacker News - GLM-5.3-Serving 2026-11-17
  12. Hacker News - DeepSeek-Grossskalierung 2026-11-17
  13. Hacker News - Ankuendigung 2026-11-17
  14. r/LocalLLaMA - PLE-Disk-Offload 2026-11-17
  15. r/LocalLLaMA - Determinismus ueber neun GPUs 2026-11-17
  16. r/LocalLLaMA - WSL-Verhalten ueber Versionen 2026-11-17
  17. X - Ollama gegen vLLM 2026-11-17
  18. X - Produktionssbetrieb auf H100 2026-11-17
  19. X - Latenz-Kritik an 0.34 2026-11-17
  20. Mastodon - CVE-2026-93840-Hinweis 2026-11-17
  21. Mastodon - Durchsatz ist nicht Qualitaet 2026-11-17
  22. Bluesky - Hardware-Support-News 2026-11-17

Alternativen zu vLLM

Wer vLLM nicht will, findet in der Aufgabe KI die ehrlichsten Vergleichsfälle - gleiche Aufgabe, gleiche Messlatte.

Nutzerkommentare (0)

Noch keine Kommentare.