Lokale KI (On-Premise)
Lokale KI bezeichnet KI-Modelle, die auf Hardware unter Kontrolle des eigenen Unternehmens rechnen, etwa im eigenen Rechenzentrum oder auf einem Endgerät, statt beim Anbieter in der Cloud.
Der Speicher bestimmt, welches Modell im eigenen Haus läuft.
Bei lokaler KI findet die Inferenz, also die Berechnung jeder Antwort, auf Rechnern statt, die das Unternehmen selbst betreibt. Nötig sind ein Modell mit herunterladbaren Gewichten, eine Laufzeitumgebung und Hardware mit genug Speicher. On-Premise meint das eigene Rechenzentrum, Edge ein Gerät am Ort der Nutzung, etwa in einer Maschine.
Praktikabel wurde das mit Open-Weight-Modellen, deren Gewichte frei herunterladbar sind, und mit Quantisierung, die diese Gewichte mit geringerer Genauigkeit speichert. Laut Modellkarte läuft gpt-oss-20b, das OpenAI 2025 unter der Apache-Lizenz 2.0 veröffentlicht hat, mit 16 GB Speicher. Die größere Variante gpt-oss-120b passt auf einen einzelnen Grafikprozessor mit 80 GB.
Lokal beschreibt also nur den Ort der Berechnung. Er entscheidet, ob Daten das Haus verlassen und wer die Hardware kontrolliert. Sicherheit, Datenschutz und niedrige Kosten folgen daraus nicht von selbst. Mit dem Ort wandert die Verantwortung für Betrieb, Updates und Zugriffsschutz ins Unternehmen.
Kapitel 1 von 7
So läuft ein Modell im eigenen Haus.
Am Anfang steht ein Modell, dessen Gewichte sich herunterladen lassen, meist von Plattformen wie Hugging Face. Gewichte sind die im Training gelernten Zahlenwerte. Eine Laufzeitumgebung lädt sie in den Speicher und berechnet daraus die Antworten.
Verbreitet sind llama.cpp, Ollama und vLLM. llama.cpp steht unter MIT-Lizenz und läuft unter anderem auf Prozessoren, Apple-Rechnern und NVIDIA-Grafikkarten. Ollama richtet sich an einzelne Rechner, vLLM an Server, die viele Anfragen gleichzeitig bedienen. llama.cpp bringt mit llama-server eine Schnittstelle im Format der OpenAI-API mit. Anwendungen, die bisher ein Cloud-Modell aufrufen, lassen sich deshalb oft mit einer geänderten Adresse auf das lokale Modell umstellen.
Firmenwissen kommt meist über Retrieval-Augmented Generation (RAG) hinzu: Ein vorgeschaltetes System sucht passende Stellen in freigegebenen Dokumenten und gibt sie mit der Frage an das Modell. Auch diese Suche kann im Haus laufen.
Kapitel 2 von 7
Was ein Modell an Speicher braucht.
Der Speicher bestimmt, welches Modell im eigenen Haus läuft. Die Gewichte müssen in den Grafikspeicher passen, bei Apple-Rechnern in den gemeinsamen Arbeitsspeicher. Eine Überschlagsrechnung: Bei 16 Bit Genauigkeit belegt jeder Parameter zwei Byte. Ein Modell mit 8 Milliarden Parametern braucht dann rund 16 GB allein für die Gewichte. Auf 4 Bit quantisiert ist es ein halbes Byte je Parameter, also etwa 4 GB.
Dazu kommt der Zwischenspeicher jeder laufenden Anfrage, der KV-Cache. Er wächst mit der Länge des verarbeiteten Textes. Die Entwickler von vLLM beschrieben 2023, dass er je Anfrage groß ist und während der Antwort wächst und schrumpft. Viele gleichzeitige Nutzer und lange Dokumente brauchen deshalb mehr Speicher als das Modell allein.
Passt nicht alles in den Grafikspeicher, rechnet llama.cpp Teile des Modells auf dem Prozessor. Das Modell läuft dann, antwortet aber langsamer. Quantisierung kann außerdem die Qualität senken; ob das zählt, zeigt nur ein Test mit echten Fällen.
Kapitel 3 von 7
Lokal, private Cloud und EU-Cloud unterscheiden sich in der Kontrolle.
Die US-Normungsbehörde NIST unterscheidet in ihrer Cloud-Definition unter anderem private und öffentliche Clouds. Eine private Cloud steht danach exklusiv einer Organisation zur Verfügung. Betreiben kann sie die Organisation selbst oder ein Dritter, im eigenen Haus oder außerhalb. Eine öffentliche Cloud steht in den Räumen des Anbieters.
Für KI ergibt sich daraus eine Abstufung nach Kontrolle. Bei lokaler KI im engen Sinn betreibt das Unternehmen Hardware und Modell selbst. Bei gemieteten, exklusiv genutzten Servern in einem fremden Rechenzentrum verlassen die Daten das Haus, Modell und Software bleiben aber unter eigener Verwaltung. Bei einem Cloud-Modell in einem EU-Rechenzentrum betreibt der Anbieter das Modell. Der Standort sagt dann wenig darüber, welchem Recht der Anbieter unterliegt; diese Frage behandelt der Begriff souveräne KI.
Viele Unternehmen arbeiten hybrid und entscheiden je Aufgabe, ob ein lokales oder ein Cloud-Modell rechnet, meist nach Vertraulichkeit der Daten und Anspruch an die Qualität.
Kapitel 4 von 7
Lokal heißt nicht automatisch sicher.
Ollama nimmt laut Dokumentation standardmäßig nur Anfragen vom selben Rechner an, über die Adresse 127.0.0.1 und Port 11434. Wer Ollama über die Variable OLLAMA_HOST im Firmennetz freigibt, muss Anmeldung und Rechte selbst davorsetzen. Ein offener Modellserver im Netz ist lokal und trotzdem ein Risiko. Dieselbe Dokumentation nennt auch Cloud-Modelle und erklärt, wie sich diese Funktionen abschalten lassen. Ein als lokal geltendes Werkzeug kann also je nach Einstellung Anfragen nach außen schicken.
Das Datenschutzrecht gilt unabhängig vom Ort. Artikel 32 DSGVO verlangt angemessene technische und organisatorische Maßnahmen für die Sicherheit der Verarbeitung. Der Vertrag zur Auftragsverarbeitung mit einem Modellanbieter nach Artikel 28 entfällt, solange kein Dienstleister die Daten verarbeitet.
Die KI-Verordnung knüpft ihre Pflichten an Rollen wie Anbieter und Betreiber, die Artikel 3 definiert, und an das Risiko des Einsatzes, nicht an den Standort der Hardware.
Kapitel 5 von 7
Was der Eigenbetrieb kostet und wovon das abhängt.
Lokale KI verlagert Kosten. Statt Gebühren je Token zahlt das Unternehmen für Grafikprozessoren oder deren Miete, Strom, Einrichtung, Updates, Überwachung und die Arbeitszeit der Menschen, die das System betreuen. Diese Kosten fallen weitgehend fest an, auch wenn das Modell wenig zu tun hat.
Bei hohem, gleichmäßigem Volumen und bei Daten, die das Haus nicht verlassen sollen, spricht viel für den Eigenbetrieb. Bei wenigen oder stark schwankenden Aufrufen ist ein Cloud-Modell mit Abrechnung nach Verbrauch meist günstiger.
Schwer in Euro zu fassen ist die Kontrolle über die Modellversion. Cloud-Anbieter schalten ältere Modelle ab. Anthropic etwa kündigt das mindestens 60 Tage vorher an, danach schlagen Anfragen an das alte Modell fehl. Ein lokal betriebenes Modell bleibt unverändert, solange das Unternehmen es will. Neue Versionen muss es dann aber selbst prüfen und einspielen.
Kapitel 6 von 7
Woran man eine gute Umsetzung erkennt.
Grundlage sind eine konkrete Aufgabe und ein Prüfsatz aus echten Fällen. Lokales und Cloud-Modell werden an denselben Fällen gemessen, bevor die Entscheidung fällt. Die Lizenz des Modells ist geprüft, denn frei herunterladbare Gewichte erlauben nicht automatisch jede kommerzielle Nutzung.
Der Modellserver ist nur nach Anmeldung erreichbar, jede Anwendung hat eigene Zugangsdaten, und Aufrufe werden protokolliert. Anwendungen sprechen die Modelle über eine gemeinsame Schicht an, etwa ein LLM-Gateway. Dann lässt sich je Aufgabe zwischen lokal und Cloud wechseln, ohne die Anwendungen umzubauen.
Für den Betrieb ist eine Person zuständig. Modelldateien stammen aus geprüften Quellen, Updates von Laufzeitumgebung und Modell folgen einem Plan wie bei jeder anderen Software, und die Hardware wird überwacht.
Kapitel 7 von 7
Die Grenze des Begriffs
Lokale KI beschreibt den Ort der Berechnung, keine Qualität, Sicherheit oder Rechtskonformität. Ein Open-Weight-Modell ist Voraussetzung, kann aber genauso bei einem Hoster laufen; ein Small Language Model beschreibt die Größe eines Modells, nicht seinen Standort. Souveräne KI fragt, ob ein Unternehmen über Modelle, Daten und Anbieter selbst entscheiden kann. Lokaler Betrieb ist ein Weg dorthin, aber nicht der einzige.
Häufige Fragen
Was ist lokale KI?
Lokale KI ist ein KI-Modell, das auf Hardware unter Kontrolle des eigenen Unternehmens rechnet, etwa auf einem eigenen Server oder Arbeitsplatzrechner. Anfragen und Daten gehen dabei nicht an einen Modellanbieter in der Cloud.
Welche Hardware braucht man für lokale KI?
Lokale KI braucht vor allem genug schnellen Speicher für das Modell, meist den Grafikspeicher einer Grafikkarte. Kleine quantisierte Modelle laufen auf einem gut ausgestatteten Arbeitsplatzrechner, große Modelle mit vielen Nutzern auf Servern mit starken Grafikprozessoren.
Wie viel VRAM braucht ein lokales Sprachmodell?
Als Überschlag gilt Parameterzahl mal Speicher je Gewicht, plus Reserve für den Zwischenspeicher der laufenden Anfragen. Ein Modell mit 8 Milliarden Parametern braucht in 16 Bit rund 16 GB für die Gewichte, auf 4 Bit quantisiert etwa 4 GB.
Was ist der Unterschied zwischen lokaler KI und Cloud-KI?
Der Unterschied liegt darin, wer die Hardware kontrolliert, auf der das Modell rechnet. Bei lokaler KI ist es das eigene Unternehmen, bei Cloud-KI der Anbieter, zu dem jede Anfrage über das Internet geht. Lokal fallen feste Kosten an, in der Cloud Gebühren je Nutzung.
Ist lokale KI DSGVO-konform?
Nicht automatisch. Lokaler Betrieb kann verhindern, dass personenbezogene Daten an einen Modellanbieter gehen, ersetzt aber weder Rechtsgrundlage noch Löschkonzept, Zugriffsrechte oder die Sicherheitsmaßnahmen nach Artikel 32 DSGVO. Die Einordnung im Einzelfall gehört zum Datenschutzbeauftragten.
Welche Software eignet sich, um KI lokal zu betreiben?
Verbreitet sind Ollama für einzelne Rechner, llama.cpp als quelloffene Laufzeitumgebung mit eigenem Server und vLLM für Server mit vielen gleichzeitigen Anfragen. Alle drei laden Open-Weight-Modelle und stellen sie über eine Schnittstelle bereit.
Quellen
- OpenAI: Modellkarte gpt-oss-20b auf Hugging Face, 2025 (englisch)
- ggml-org: llama.cpp, Projektdokumentation auf GitHub, Stand November 2026 (englisch)
- Ollama: FAQ, Dokumentation, Stand November 2026 (englisch)
- Woosuk Kwon u. a.: Efficient Memory Management for Large Language Model Serving with PagedAttention, 2023 (englisch)
- NIST: Peter Mell, Timothy Grance, The NIST Definition of Cloud Computing, SP 800-145, September 2011 (englisch)
- Anthropic: Model deprecations, Dokumentation, Stand November 2026 (englisch)
- EU: Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), Art. 28 und 32, 2016
- EU: Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act), Art. 3, 2024