Zum Inhalt

Bei der Inferenz lässt sich Wartezeit gegen Kosten je Token tauschen.

Waage am Beispiel einer Steuerkanzlei mit zwei Aufgaben für Sprachmodelle. Links der Chat für Mandantenfragen: Die Antwort wird sofort gebraucht, jede Sekunde Wartezeit zählt, deshalb läuft er auf einem kleineren, schnellen Modell. Rechts das nächtliche Vorsortieren der Belege: Das Ergebnis wird erst morgens gebraucht, deshalb läuft es als Stapel, den der Anbieter günstiger berechnet. In der Mitte steht der Tausch von Wartezeit gegen Kosten je Token; darunter der Hinweis, dass die gleichbleibende Anweisung vorn steht, damit der Anbieter sie aus dem Cache liest.

Ein KI-Modell durchläuft zwei Phasen. Im Training lernt es aus Daten und passt seine Gewichte an, oft Milliarden Zahlen, in denen sein Können steckt. In der Inferenz wendet es diese Gewichte auf neue Eingaben an: Ein Sprachmodell beantwortet eine Frage, ein Bildmodell erkennt einen Defekt auf einem Foto. Training findet einmal oder in Abständen statt, Inferenz bei jeder Anfrage.

Das Wort kommt aus der Logik und meint dort einen Schluss, in der Statistik den Schluss von einer Stichprobe auf die Gesamtheit. Bei KI ist der Rechenvorgang gemeint, englisch „AI inference“.

Für Unternehmen ist Inferenz der Teil der KI, der laufend Geld kostet: abgerechnet je Token oder bezahlt mit eigener Hardware und Strom. Wer versteht, wie eine Antwort entsteht, sieht, warum lange Dokumente und lange Antworten teuer werden und wo sich Wartezeit gegen Kosten tauschen lässt.

Kapitel 1 von 7

Das Modell lernt im Training und arbeitet in der Inferenz.

Training und Inferenz unterscheiden sich darin, was mit den Gewichten geschieht. Im Training werden sie aus Daten gelernt, beim Fine-Tuning mit eigenen Beispielen nachjustiert. In der Inferenz bleiben sie unverändert, das Modell rechnet nur mit ihnen. Verbesserungen kommen erst mit einer neuen Modellversion.

Die KI-Verordnung der EU greift den Begriff auf. Nach Artikel 3 Nummer 1 ist ein KI-System ein System, das aus den erhaltenen Eingaben ableitet, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden. In der englischen Fassung steht dafür „infers“. Erwägungsgrund 12 nennt die Fähigkeit zum Ableiten ein wesentliches Merkmal von KI-Systemen und bezieht sie auf zwei Dinge: das Erzeugen von Ausgaben und das Ableiten von Modellen oder Algorithmen aus Daten.

Ein Angebot, das „Inferenz“ ausweist, berechnet die Nutzung eines Modells, nicht dessen Herstellung.

Kapitel 2 von 7

Ein Sprachmodell liest die Eingabe auf einmal und schreibt die Antwort Token für Token.

Forschende von Google teilen die Inferenz eines Sprachmodells in zwei Phasen. Im ersten Schritt, Prefill genannt, verarbeitet das Modell alle Token der Eingabe in einem Durchgang, weil sie von Anfang an vorliegen. Danach erzeugt es die Antwort, englisch Decode: In jedem Schritt läuft das ganze Modell einmal durch und liefert genau ein neues Token. Es hängt von der Eingabe und allem bisher Geschriebenen ab.

Damit es frühere Token nicht neu berechnen muss, legt das Modell Zwischenergebnisse in einem Speicher ab, dem KV-Cache. Welches Token als Nächstes kommt, wählt das System nach Wahrscheinlichkeiten aus. Deshalb liefert dieselbe Frage nicht zwingend zweimal denselben Wortlaut.

Daraus ergeben sich die Wartezeiten: Die Verarbeitung der Eingabe wächst mit ihrer Länge, das Schreiben der Antwort mit der Zahl der Ausgabe-Token.

Kapitel 3 von 7

Speicher bremst die Antwort oft mehr als Rechenleistung.

Inferenz läuft auf Grafikprozessoren (GPU) oder spezialisierten Beschleunigern wie Googles TPU. Große Modelle passen nicht in den Speicher eines einzelnen Chips. Bei jedem Schritt müssen Gewichte und KV-Cache aus dem Speicher in die Recheneinheiten geladen werden. Für kurze Wartezeiten braucht es deshalb vor allem viel Speicherbandbreite.

Wie eng es wird, zeigen Woosuk Kwon und Kollegen an einem Modell mit 13 Milliarden Parametern auf einer NVIDIA A100 mit 40 GB Speicher. Rund 65 Prozent belegen die Gewichte, knapp 30 Prozent der KV-Cache der laufenden Anfragen. Für das Modell OPT-13B braucht ein einziges Token 800 KB KV-Cache, eine Anfrage mit 2.048 Token bis zu 1,6 GB. Die damals verbreiteten Systeme nutzten nach ihrer Messung nur 20,4 bis 38,2 Prozent des reservierten Cache-Speichers tatsächlich.

Eine Anfrage mit langem Dokument belegt also Speicher, der anderen Anfragen fehlt.

Kapitel 4 von 7

Abgerechnet wird je Token, und die Ausgabe kostet mehr.

Cloud-Anbieter berechnen Inferenz nach verarbeiteten Token, getrennt nach Eingabe und Ausgabe. In der Preisliste von Anthropic kostet ein Ausgabe-Token bei allen aufgeführten Claude-Modellen das Fünffache eines Eingabe-Tokens (Stand 9. November 2026). Auch OpenAI berechnet Ausgabe-Token höher als Eingabe-Token. Technisch passt das zum Ablauf: Die Eingabe wird in einem Durchgang verarbeitet, jedes Ausgabe-Token braucht einen eigenen.

Dazu kommen Preisstufen. Anthropic gewährt für die Stapelverarbeitung über die Batch API 50 Prozent Rabatt auf Ein- und Ausgabe, die Ergebnisse kommen dann zeitversetzt. Ein schneller Modus liefert die Ausgabe deutlich schneller zu einem höheren Preis. Wird ein gleichbleibender Prompt-Anfang aus dem Cache gelesen, kostet er bei Anthropic höchstens 10 Prozent des normalen Eingabepreises.

Die Google-Forschenden trennen zwei Ziele: Chatbots brauchen kurze Wartezeiten, Auswertungen im Hintergrund niedrige Kosten je Token. Bei der Inferenz lässt sich Wartezeit gegen Kosten je Token tauschen.

Kapitel 5 von 7

Batching, Quantisierung und Caching senken die Kosten je Anfrage.

Batching fasst mehrere Anfragen zu einem Rechendurchgang zusammen und erhöht so den Durchsatz, also die Zahl der Token je Sekunde. Wie viele Anfragen in einen Stapel passen, begrenzt der Speicher. Das System vLLM verwaltet den KV-Cache deshalb in Seiten, ähnlich wie ein Betriebssystem den Arbeitsspeicher (PagedAttention). Nach Kwon und Kollegen steigt der Durchsatz damit bei gleicher Wartezeit auf das Zwei- bis Vierfache gegenüber den Systemen FasterTransformer und Orca.

Quantisierung speichert die Gewichte mit geringerer Genauigkeit. Tim Dettmers und Kollegen zeigten 2022 mit LLM.int8(), dass sich der Speicherbedarf für die Inferenz so halbieren lässt, ohne messbaren Leistungsverlust bei Modellen bis 175 Milliarden Parametern. Stärkere Quantisierung kann die Qualität mindern und gehört vor dem Einsatz getestet.

Prompt Caching hält den KV-Cache eines gleichbleibenden Prompt-Anfangs vor, etwa langer Anweisungen, sodass Folgeanfragen ihn nicht neu berechnen.

Kapitel 6 von 7

Woran man eine gute Umsetzung erkennt.

Gemessen wird je Anwendung, wie viele Eingabe- und Ausgabe-Token eine Anfrage verbraucht und wie lange die Antwort dauert.

Jede Aufgabe bekommt die passende Inferenz. Ein Chat mit Kunden braucht schnelle Antworten, die nächtliche Auswertung tausender Dokumente läuft als Stapel. Feste Anweisungen stehen am Anfang des Prompts, damit der Anbieter sie aus dem Cache lesen kann. Eine Obergrenze für Ausgabe-Token fängt Ausreißer ab.

Der Ort der Inferenz ist eine bewusste Entscheidung. Bei einer Cloud-API verlassen Eingaben das Unternehmen, und der Vertrag regelt, wo gerechnet und ob gespeichert wird. Auf eigener Hardware bleiben die Daten im Haus, dafür liegen Beschaffung, Betrieb und Auslastung beim Unternehmen.

Laufen alle Aufrufe über eine zentrale Schicht wie ein LLM-Gateway, sind Verbrauch und Kosten je Anwendung an einer Stelle sichtbar, und das Modell lässt sich wechseln.

Kapitel 7 von 7

Die Grenze des Begriffs

Inferenz bezeichnet nur das Erzeugen einer Ausgabe durch ein trainiertes Modell. Datenaufbereitung, Training und Fine-Tuning gehören nicht dazu, ebenso wenig die Anwendungslogik drumherum, etwa die Dokumentsuche bei RAG. Vom gleichnamigen Begriff in Logik und Statistik ist die KI-Inferenz zu trennen.

Häufige Fragen

Was ist Inferenz bei KI?

Inferenz ist das Anwenden eines fertig trainierten KI-Modells auf neue Eingaben, etwa wenn ein Sprachmodell eine Frage beantwortet. Die Gewichte des Modells bleiben dabei unverändert. Jede einzelne Anfrage an ein Modell ist eine Inferenz.

Was ist der Unterschied zwischen Training und Inferenz?

Im Training lernt ein Modell aus Daten und passt seine Gewichte an, in der Inferenz wendet es diese Gewichte nur an. Training geschieht einmal oder in Abständen, Inferenz bei jeder Anfrage. Deshalb verursacht die Inferenz die laufenden Kosten im Betrieb.

Lernt ein KI-Modell bei der Inferenz dazu?

Nein, bei der Inferenz ändern sich die Gewichte des Modells nicht. Was das Modell in einem Gespräch berücksichtigt, steht im Kontextfenster der jeweiligen Anfrage. Ob ein Anbieter Eingaben später für neues Training nutzt, regeln seine Vertragsbedingungen.

Wie werden Inferenzkosten berechnet?

Cloud-Anbieter rechnen je verarbeitetem Token ab, getrennt nach Eingabe und Ausgabe. Bei Anthropic kostet ein Ausgabe-Token das Fünffache eines Eingabe-Tokens, Stapelverarbeitung und Cache-Treffer sind günstiger (Stand 9. November 2026). Auf eigener Hardware fallen stattdessen Anschaffung, Strom und Betrieb an.

Was bedeutet Latenz bei KI-Modellen?

Latenz ist die Wartezeit, bis eine Antwort da ist. Bei Sprachmodellen setzt sie sich aus der Verarbeitung der Eingabe und dem Erzeugen der Ausgabe zusammen, wobei jedes Ausgabe-Token einen eigenen Rechenschritt braucht. Lange Antworten und große Modelle erhöhen sie.

Welche Hardware braucht KI-Inferenz?

Große Sprachmodelle laufen meist auf Grafikprozessoren oder spezialisierten Beschleunigern. Engpass ist oft weniger die Rechenleistung als der Speicher für Gewichte und KV-Cache und die Bandbreite, mit der er gelesen wird. Kleine oder quantisierte Modelle laufen auch auf einzelnen Servern.

Was bedeutet Inferenz in der Statistik?

In der Statistik bezeichnet Inferenz den Schluss von einer Stichprobe auf die Gesamtheit, etwa von einer Umfrage auf alle Kunden. Bei KI ist dagegen der Rechenvorgang gemeint, mit dem ein trainiertes Modell eine Ausgabe erzeugt.

    ↑ ↓ wählen · Enter öffnen · Esc schließen