LiteLLM: Test, Kosten & Souveränität

Selbst betriebenes AI-Gateway: ein OpenAI-kompatibler Endpunkt fuer mehr als 100 Modell-Anbieter, mit Spend-Tracking, virtuellen Keys und Guardrails - MIT-Kern, Enterprise-Funktionen hinter Lizenzschluessel.

kein US-Bezug Open Source selbst hostbar
3

Einschätzung

Fuer Teams richtig, die einen einheitlichen OpenAI-kompatiblen Endpunkt vor viele Modell-Anbieter setzen und Spend-Tracking mit Keys und Budgets brauchen: self-hosted, MIT-Kern, breite Adapter-Abdeckung. Nimm lieber eine duenne Alternative (Olla, any-llm) oder direkte SDK-Anbindungen, wenn du nur einen oder zwei Provider hast und die Angriffsflaeche klein halten willst. Meide LiteLLM im Internet-Exponierten Betrieb und ohne zwingende Versionsoffenheit: 2026 gab es zwei Supply-Chain-Kompromittierungen der PyPI-/Docker-Release-Pipeline und eine Kette kritischer Advisories, die den master key und Provider-Keys im Visier hatten.

Warum 3/10?

Souveränität & Jurisdiktion 16% 6
Verschlüsselung & Datenzugriff 26% 0
Eigentümer & Historie 14% 2.5
Ausstieg & Lock-in 10% 8.5
Sicherheit 10% 3
Ehrliche Kosten 16% 0
Alltag & Clients 8% 6.5

Platz #2 von 8 in ki-zugang & apis - Gewichte in der Methodik · gewichtet für KI-Zugang & APIs

++ Was hält

  • MIT-Kern, 63.000+ Stars, aktive Releases (v1.108.10, Mitte November 2026)
  • Self-hosted Gateway: OpenAI-Format fuer 100+ Provider, virtuelle Keys mit Budgets und Rate-Limits
  • Spend-Tracking pro Request dokumentiert (Key, Team, User, Tag)
  • Enterprise-Funktionen klar abgegrenzt (SSO, SCIM, Audit-Logs, IP-Allowlists) und in eigener VPC betreibbar

-- Was du prüfen solltest

  • Zwei Release-Pipeline-Kompromittierungen 2026: v1.82.7/1.82.8 (Maerz) und v1.107.0 (Oktober) mit Credential Stealer und Backdoor
  • Kette kritischer Advisories 2026: Auth-Bypass via Host-Header, Privilege-Escalation via Salt-Key, File-Read mit Master-Key-Exfil
  • Ein gelakter Zugangs-Schluessel aus dem Entwicklungs-Kontext fuehrte zur Oktober-Kompromittierung
  • Enterprise-Grenze: SSO, Audit-Logs und mehrere Admin-Rollen brauchen die kostenpflichtige Lizenz

So startest du bei LiteLLM

Identitätsprüfungkeine
ZahlungFiatgeld
EinstiegspreisPreis beim Anbieter
AuszugOpenAI-kompatible API, Postgres-Datenbank, Metadaten exportierbar

Werte aus den Fakten dieser Seite (Stand: 2026-11-17). Preisangaben ohne Gewähr - vor der Anmeldung beim Anbieter gegenprüfen.

Überblick

LiteLLM ist ein selbst betriebenes AI-Gateway: Applikationen bekommen einen OpenAI-kompatiblen Endpunkt fuer mehr als 100 Modell-Anbieter, mit virtuellen Keys, Budgets, Rate-Limits und Spend-Tracking pro Request [3]. Das Repository zaehlt 63.420 Stars [1], Releases erscheinen im Wochentakt - v1.108.10 Mitte November 2026, daneben ein LTS-Zweig [6]. Das Projekt gehoert zu Berri AI; die Enterprise-Doku bewirbt SOC-2-Pruefung und Selbstbetrieb in der eigenen VPC [4].

Die Lizenz ist zweiseitig: Der Kern ist MIT, aber alles im Verzeichnis "litellm/enterprise/" folgt einer eigenen Lizenz [2]. Die Enterprise-Doku benennt die Grenze exakt: SSO und SCIM, Audit-Logs, Org- und Team-Admins, Secret-Manager und IP-Allowlists sind die Zusatzschicht hinter dem Lizenzschluessel [4][5]. Fuer Einzelpersonen und Kleinstteams bleibt der OSS-Kern voll funktionsfaehig; wer Enterprise-Steuerung braucht, zahelt.

Funktionsweise & Sicherheit

Das Gateway sitzt zwischen deinen Applikationen und den Modell-Anbietern: Requests kommen im OpenAI-Format rein, das Gateway routet zum konfigurierten Provider, spend und logs werden aufgezeichnet [3]. Guardrails und PII-Masking sind Teil der Funktionsbeschreibung [3]. Konsequenz fuer die Datenhoheit: Das Gateway ist selbst ein Speicher - was es protokolliert, liegt in deiner Datenbank auf deinem Server [3].

Genau diese Rolle - Verwalter von Provider-Keys und Master-Key an einem Ort - macht die Sicherheitsbilanz kritisch. 2026 gab es drei Befundklassen. Erstens: kritische Advisories am Proxy selbst, vom Auth-Bypass via Host-Header (behoben in 1.84.0) [8] ueber die Privilege-Escalation via Salt-Key zum proxy_admin (behoben in 1.100.4) [9] bis zum unauthentifizierten File-Read, der laut Advisory LITELLM_MASTER_KEY und Provider-Keys ausloesen kann (behoben in 1.103.10) [10]. Zweitens: Angriffsflaechen an neuen Features, etwa der MCP-Endpunkt mit Fail-open-Authentifizierung (CVE-2026-59822) [22]. Drittens: Die Release-Pipeline selbst.

Datenhoheit & Ausstieg

Der Gateway-Betreiber bist du - Prompts, Antworten und Logs liegen in deiner Infrastruktur, und die Enterprise-Doku betont das als Verkaufsargument [4]. Aber zwei Punkte gehoeren auf die Rechnung. Erstens sieht die dahinterliegende Modell-Anbieter-Welt jeden Prompt; das Gateway verschiebt die Datenschutzfrage nur, es loest sie nicht [3]. Zweitens haelt die Gateway-Datenbank exakt das, was Angreifer wollen: Provider-Keys, Master-Key, ggf. Prompt-Logs - der Oktober-Stealer las gezielt die "LLM provider keys in a LiteLLM proxy database" aus [12].

Der Ausstieg ist offen: Die API ist OpenAI-kompatibel, die Daten liegen in einer eigenen Postgres-Instanz, und ein Wechsel auf direkte SDK-Anbindungen oder ein anderes Gateway ist ein Konfigurationsschritt. Wer Keys rotiert und Logs portiert, verliert wenig.

Installation & Betrieb

Der Doku-Einstieg ist ein Einzeiler-Skript, der Produktionsweg Docker, Helm oder Terraform mit angeschlossener Postgres-Datenbank [3]. Der Betrieb braucht Routine an drei Stellen: Versionsoffenheit (Pins auf gepruefte Wheel-Versionen statt floating latest), Keys-Rotation nach Vorfaellen und ein Blick auf die Release-Frequenz - der Feed zeigt mehrere Versionen pro Tag [6].

Die Praxis rechnet damit: Ein Reddit-Beleg verdrahtet LiteLLM als Bindeglied zwischen Coding-Agent und lokaler llama.cpp-Engine mit 7,2 Millionen Tokens Laufvolumen [23]. Auf der Gegenseite steht die Groessenkritik - ein alternatives Projekt namens Litelm wirbt mit "LiteLLM Without the Bloat" [16], und die Community vergleicht duenne Alternativen wie any-llm fuer den Ein-Provider-Fall [24].

Vorfälle & Warnzeichen

Das Jahr 2026 hat zwei Release-Pipeline-Kompromittierungen hinterlassen; die Advisory-Liste des Projekts listet sie neben den Code-Luecken derselben Periode [7]. Im Maerz erschienen auf PyPI kompromittierte Versionen 1.82.7 und 1.82.8 mit einer base64-Blob in proxy_server.py, die beim Import nachlud - dokumentiert im Projekt-Issue [11] und mit 938 Punkten auf Hacker News [13]. Im Oktober folgte 1.107.0: Laut SafeDep-Analyse installierten alle sieben Wheels einen Credential Stealer (cook.py) und eine Backdoor (sitecustomize.py), der Daemon holte staendlich nach; PyPI entfernte das Release um 13:23 UTC, auch die Docker-Images waren zwischen 11:46 und 14:20 UTC verseucht [12]. Die Ursprungskette liest sich wie eine Lehrbuch-Folie: Ein Master-Key, der im Mai in ein \u00f6ffentliches Repository geraten war, gilt als Ausloeser [19], und LiteLLM selbst erklaerte spaeter, ein nicht zurueckgezogener Key habe Angreifer auf Nutzer gelenkt [18]. Eine Security-Stimme stellt daraus die allgemeine Lehre: Schadcode kann durch legitime Publishing-Systeme gleiten, Provenance-Pruefung allein reicht nicht [28].

Die deutschsprachigen Security-Medien b\u00fcndelten die Welle ("Gekaperte Pipeline verteilt Schadcode") [17], ein betroffenes Unternehmen meldete den Zusammenhang oeffentlich [15], und Amazon beschrieb eine laufende Kampagne, in der KI-Agenten exponierte LiteLLM- und Dify-Instanzen nach Keys abgrasen [18][26]. Ausserhalb der Supply-Chain: eine Semantic-Cache-Luecke, die Tenant-Grenzen ueberwand [20], und ein als CVSS 10.0 eingestufter File-Read am Enterprise-Proxy mit Master-Key-Exfil, behoben in 1.106.5 [21].

Was Nutzer berichten

Die Bilanz ist von den Vorfaellen gepraegt: Beide Kompromittierungen schlugen mit hohen Punktzahlen ein [13][14], ein Betroffener veroeffentlichte seine Minutengenaue Incident-Response [13], und die Klage "Schon wieder LiteLLM?" haelt sich - inklusive Frust, dass Frameworks das Paket als Abhaengigkeit ziehen [14]. Positiv: Der Stack-Beleg aus der Praxis funktioniert [23], und die Gateway-Funktionen (Keys, Budgets, Spend) sind genau das, was Multi-Provider-Teams suchen [3]. Kritisch: Groessenkritik [16][24] und Spaett zur Produktkommunikation nach den Vorfaellen [27]. Portugiesische Security-Stimmen warnen zeitgleich jeden, der LiteLLM aus dem Internet erreichbar betreibt [25]. Positiv steht daneben, dass die Gateway-Idee selbst von Anfang an Zuspruch fand [29] und kreative Selfhost-Stacks LiteLLM als verbindendes Stueck einsetzen [23]. Von den erfassten Stimmen sind drei positiv, neun negativ, vier neutral.

Schmerzpunkte & Loesungen

  • Version pinnen: Kein floating latest auf Gateways mit Provider-Keys; Wheels gegen Checksummen verifizieren [12][28].
  • Keys-Rotation: Nach jedem Advisory-Appearance Provider-Keys und Master-Key rotieren - die Advisories zielen genau darauf [9][10].
  • Exposition: Gateway nur intern oder hinter Authentifizierung betreiben; exponierte Instanzen sind laut Threat-Report ein aktives Jagdrevier [18][26].
  • Logs begrenzen: Prompt-Logging und Caches bewusst konfigurieren - die Semantic-Cache-Luecke zeigt, was geteilte Caches anrichten [20].
  • Enterprise-Bedarf kl\u00e4ren: SSO und Audit-Logs vorab in die Kostenrechnung nehmen statt nachtraeglich [4].

Alternativen

Innerhalb der Aufgabe KI-Zugang & APIs: OpenRouter als gehostete Variante mit eigener Abrechnung, Groq, DeepInfra und Together AI als direkte API-Anbieter. Fuer den duennen Selbsthost-Fall nennen die Community-Diskussionen any-llm [24] und das alternatives Projekt Litelm [16]; wer lokalserving anbindet, kann auch Olla-artige Proxies direkt vor vLLM setzen.

Fazit

Fuer einsteigen: wenn du einen einheitlichen OpenAI-Endpunkt vor vielen Modell-Providern brauchst und Spend-Tracking mit Keys und Budgets auf eigener Infrastruktur willst [3][4]. Nimm lieber eine duenne Alternative oder direkte SDK-Anbindungen, wenn ein Provider genuegt und du die Angriffsflaeche klein haeltst [16][24]. Meide LiteLLM mit floating Versions-Pins, exponiertem Port und unrotierten Keys - das ist exakt die Konfiguration, die die Vorfaelle von 2026 ausgekostet haben [10][12][18].

Fakten-Fazit

LiteLLM ist ein selbst betriebenes AI-Gateway: ein OpenAI-kompatibler Endpunkt fuer mehr als 100 Modell-Anbieter, mit virtuellen Keys (Modelle, Budgets, Rate-Limits) und dokumentiertem Spend-Tracking pro Request [3]. Der Lizenzkern ist MIT - mit einer markanten Ausnahme: Alles im Verzeichnis "litellm/enterprise/" folgt einer eigenen Lizenz [2], und die Enterprise-Doku benennt die Grenze exakt: SSO und SCIM, Audit-Logs, Org- und Team-Admins, Secret-Manager und IP-Allowlists sitzen hinter dem Lizenzschluessel [4]. Die Sicherheitsbilanz ist fuer ein Tool, das Provider-Keys verwaltet, schlecht: 2026 gab es zwei Kompromittierungen der Release-Pipeline - 1.82.7/1.82.8 im Maerz [11][13] und 1.107.0 im Oktober, deren Stealer laut SafeDep-Analyse gezielt die LLM-Provider-Keys in der Gateway-Datenbank suchte [12] - plus kritische Advisories zu Auth-Bypass [8], Privilege-Escalation [9] und Master-Key-Exfiltration [10].

Von der Redaktion verfasst - Faktenstand 2026-11-17

Quellen

  1. GitHub-Repository BerriAI/litellm 2026-11-17
  2. Lizenzdatei LiteLLM (MIT plus enterprise/-Ausnahme) 2026-11-17
  3. LiteLLM-Gateway-Doku 2026-11-17
  4. LiteLLM-Enterprise-Doku 2026-11-17
  5. Archiv-Sicherung der Enterprise-Doku (09.11.2026) 2026-11-17
  6. Release-Feed LiteLLM 2026-11-17
  7. GitHub Security Advisories BerriAI/litellm 2026-11-17
  8. GHSA-4xpc-pv4p-pm3w (Auth-Bypass via Host-Header) 2026-11-17
  9. GHSA-7hp6-4w63-5g45 (Privilege-Escalation via Salt-Key) 2026-11-17
  10. GHSA-w4c7-34wj-hqm8 (Master-Key-Exfiltration) 2026-11-17
  11. GitHub-Issue 24512 (Maerz-Kompromittierung) 2026-11-17
  12. SafeDep-Analyse (Oktober-Kompromittierung) 2026-11-17
  13. Hacker News - PyPI-Kompromittierung Maerz 2026-11-17
  14. Hacker News - PyPI-Kompromittierung Oktober 2026-11-17
  15. Hacker News - Mercor-Meldung 2026-11-17
  16. Hacker News - Litelm (schlanke Alternative) 2026-11-17
  17. Google-News-Ticker (DE) - Security-Medien 2026-11-17
  18. Google-News-Ticker (EN) - Reaktion und Amazon-Kampagne 2026-11-17
  19. Mastodon - Ursprungskette Oktober-Vorfall 2026-11-17
  20. Mastodon - Semantic-Cache-Uebergreifung 2026-11-17
  21. Mastodon - CVSS-10.0-Hinweis 2026-11-17
  22. r/LocalLLaMA - MCP-Auth-Bypass 2026-11-17
  23. r/LocalLLaMA - LiteLLM im lokalen Stack 2026-11-17
  24. r/LocalLLaMA - LiteLLM gegen any-llm 2026-11-17
  25. X - Warnung zu exponierten Instanzen 2026-11-17
  26. X - Amazon-Report-Zusammenfassung 2026-11-17
  27. X - Kritik an der Produktkommunikation 2026-11-17
  28. Mastodon - Lehre aus dem Vorfall 2026-11-17
  29. Hacker News - Show HN Launch des Proxy-Servers 2026-11-17

Alternativen zu LiteLLM

Wer LiteLLM nicht will, findet in der Aufgabe KI-Zugang & APIs die ehrlichsten Vergleichsfälle - gleiche Aufgabe, gleiche Messlatte.

Nutzerkommentare (0)

Noch keine Kommentare.