Prompt Caching
Prompt Caching ist eine Funktion von KI-Schnittstellen, bei der der Anbieter den Rechenstand eines gleichbleibenden Prompt-Anfangs kurz speichert und für Folgeanfragen wiederverwendet.
Der Cache greift nur, wenn der Anfang des Prompts Zeichen für Zeichen gleich bleibt.
Viele KI-Anwendungen schicken bei jeder Anfrage dasselbe mit: lange Anweisungen, die Beschreibungen der verfügbaren Werkzeuge, ein Handbuch oder den bisherigen Gesprächsverlauf. Nur die neue Frage am Ende ändert sich. Ohne Cache verarbeitet das Modell den ganzen Text jedes Mal von vorn. Beim Prompt Caching hält der Anbieter die Zwischenergebnisse für diesen Anfang eine Weile vor. Trifft eine Anfrage mit genau demselben Anfang ein, rechnet das Modell nur den neuen Teil.
Gespeichert werden keine Antworten. Für jeden verarbeiteten Token berechnet das Modell Zwischenwerte, in der Fachsprache Key- und Value-Werte, kurz KV-Cache, auf die es beim Weiterrechnen zurückgreift. Diese Werte für den Anfang werden wiederverwendet. Laut Anthropic ist die Antwort dieselbe wie ohne Cache. Das Prinzip beschrieb eine Forschungsgruppe 2023 unter dem Namen Prompt Cache.
Für Führungskräfte zählt die Wirkung auf Rechnung und Wartezeit. Gelesene Cache-Token kosten bei den großen Anbietern einen Bruchteil normaler Eingabe-Token, und bei langen Prompts kommt die erste Antwort schneller. Ob eine Anwendung davon profitiert, hängt am Aufbau ihrer Prompts.
Kapitel 1 von 6
Ab der ersten Abweichung rechnet das Modell neu.
Der Cache greift nur, wenn der Anfang des Prompts Zeichen für Zeichen gleich bleibt. Anthropic verlangt für einen Treffer zu 100 Prozent identische Abschnitte, ein ähnlicher Text reicht nicht. Ab der ersten Abweichung wird alles Folgende neu berechnet.
Daraus folgt die Regel für den Aufbau: Gleichbleibendes nach vorn, Wechselndes nach hinten. Zuerst kommen Werkzeugbeschreibungen und feste Anweisungen, dann Dokumente, die viele Anfragen brauchen, zuletzt die Frage. Bei Anthropic gilt die Reihenfolge Werkzeuge, Systemanweisung, Nachrichten; eine Änderung an den Werkzeugen macht deshalb alles danach ungültig.
Schreibt die Anwendung das aktuelle Datum oder eine Sitzungsnummer an den Anfang der Systemanweisung, unterscheidet sich jede Anfrage ab dieser Zeile, und alles dahinter wird jedes Mal neu berechnet. Dasselbe passiert, wenn die Werkzeuge jedes Mal in anderer Reihenfolge übergeben werden. Die Spezifikation des Model Context Protocol empfiehlt Servern deshalb eine feste Reihenfolge der Werkzeuge, ausdrücklich wegen der Trefferquote beim Prompt Caching.
Kapitel 2 von 6
Die Anbieter lösen es unterschiedlich.
Bei OpenAI und Google ist Prompt Caching für unterstützte Modelle standardmäßig aktiv, ohne Eingriff im Code. Bei Anthropic setzt die Anwendung eine Markierung namens cache_control, entweder einmal für die ganze Anfrage oder an bis zu vier Stellen im Prompt. Seit GPT-5.6 erlaubt auch OpenAI selbst gesetzte Haltepunkte. Google bietet für Gemini 2.5 und 3 zusätzlich ein explizites Caching an, bei dem die Anwendung den Cache verwaltet, für Gemini 4 Argon und neuer nicht mehr.
Jeder Anbieter verlangt eine Mindestlänge. Bei Anthropic liegt sie je nach Modell zwischen 512 und 4.096 Token, bei OpenAI ab GPT-5.6 bei 1.024 sichtbaren Eingabe-Token, bei Google je nach Modell bei 2.048 oder 4.096 Token. Kürzere Anfänge speichert Anthropic ohne Fehlermeldung einfach nicht.
Ob der Cache trifft, zeigen die Nutzungsdaten jeder Antwort. Anthropic weist geschriebene und gelesene Cache-Token getrennt aus, OpenAI die gelesenen als cached_tokens. Selbst betriebene Server wie vLLM bieten dasselbe Verfahren als Automatic Prefix Caching.
Kapitel 3 von 6
Die Preisfaktoren stehen in der Dokumentation je Modell.
Stand 9. November 2026 nennt Anthropic folgende Faktoren auf den normalen Eingabepreis: Das Schreiben in den Cache kostet bei fünf Minuten Lebensdauer das 1,25-Fache, bei einer Stunde das Doppelte. Das Lesen kostet das 0,1-Fache, bei einzelnen neueren Modellen das 0,05- oder 0,025-Fache.
OpenAI berechnet für GPT-5.6 und neuere Modelle das 1,25-Fache für das Schreiben bei 30 Minuten Mindestlebensdauer, das 2,5-Fache bei zwölf Stunden und für das Lesen meist das 0,1-Fache. Für ältere Modelle fällt dort kein Aufschlag fürs Schreiben an, der Rabatt fürs Lesen hängt vom Modell ab. Google sagt für das automatische Caching keine Ersparnis zu; beim expliziten Caching kommen Kosten für die Speicherdauer hinzu.
OpenAI rechnet selbst vor: Wird ein Anfang einmal geschrieben und neunmal vollständig gelesen, kostet er zusammen das 2,15-Fache des normalen Eingabepreises statt des Zehnfachen. Wird er dagegen nur einmal genutzt, bleibt allein der Aufschlag.
Kapitel 4 von 6
Der Cache hält Minuten bis Stunden.
Ein Eintrag verfällt, wenn ihn niemand nutzt. Bei Anthropic hält er standardmäßig fünf Minuten, und jede Nutzung verlängert ihn ohne Aufpreis; gegen den höheren Schreibpreis gibt es eine Stunde. OpenAI nennt für neuere Modelle eine Mindestlebensdauer von 30 Minuten, wahlweise zwölf Stunden; sie bestimmt, wie lange der Lesepreis gilt, einen Treffer garantiert sie nicht. Beim expliziten Caching von Google legt die Anwendung die Lebensdauer fest, ohne Angabe gilt eine Stunde.
Prompt Caching lohnt sich also, wenn derselbe Anfang innerhalb dieser Zeit mehrfach gebraucht wird. Ein Assistent mit vielen Anfragen je Stunde trifft häufig. Ein Bericht, der einmal am Tag läuft, zahlt nur den Aufschlag. Anthropic erlaubt außerdem, den Cache vorab zu füllen, bevor die erste echte Anfrage eintrifft. In Gesprächen und bei Agenten gilt: Wer neue Nachrichten anhängt, statt frühere umzuschreiben, kann den bisherigen Verlauf jedes Mal wiederverwenden.
Kapitel 5 von 6
Wer sich einen Cache teilt, verrät etwas.
Gespeicherte Anfänge werden schneller verarbeitet, und das lässt sich von außen messen. Eine Forschungsgruppe zeigte 2025: Teilen sich mehrere Nutzer einen Cache, kann ein Angreifer an kurzen Antwortzeiten erkennen, ob ein bestimmter Text kurz vorher schon angefragt wurde. Bei sieben Anbietern fand sie damals Hinweise auf einen Cache, den sich Nutzer übergreifend teilten.
Heute schreiben Anthropic und OpenAI, dass Caches nicht zwischen Organisationen geteilt werden; Anthropic trennt auf der Claude API zusätzlich die Arbeitsbereiche innerhalb einer Organisation. Laut Anthropic liegen die Zwischenwerte nur im Arbeitsspeicher und werden nach Ablauf zeitnah gelöscht.
Für Anwendungen mit vielen Kunden empfiehlt OpenAI getrennte Cache-Schlüssel je Kunde oder Nutzer, damit niemand durch Ausprobieren erkennt, was andere gefragt haben. Personenbezogene Daten gehören nicht in einen Anfang, den sich mehrere Nutzer teilen.
Kapitel 6 von 6
Die Grenze des Begriffs
Prompt Caching spart Rechenarbeit für den Anfang eines Prompts; die Antwort wird dadurch weder besser noch schlechter, und ein unnötig langer Prompt bleibt teuer. Antwort-Caches und semantisches Caching speichern fertige Antworten in der eigenen Anwendung. Das Kontextfenster, also die Textmenge, die ein Modell auf einmal verarbeiten kann, bleibt vom Cache unberührt.
Häufige Fragen
Was ist Prompt Caching?
Prompt Caching ist eine Funktion der KI-Anbieter, die den Rechenstand für einen gleichbleibenden Prompt-Anfang kurz speichert. Folgeanfragen mit demselben Anfang werden dadurch günstiger und schneller verarbeitet, die Antwort entsteht trotzdem jedes Mal neu.
Speichert Prompt Caching die Antworten?
Nein, gespeichert werden nur Zwischenwerte für den Anfang des Prompts. Ein Antwort-Cache in der eigenen Anwendung speichert dagegen fertige Antworten auf gleiche Fragen, semantisches Caching auch auf ähnliche Fragen. Beide sparen den Modellaufruf ganz, können aber veraltete Antworten ausliefern.
Ab wie vielen Token greift Prompt Caching?
Das legt jeder Anbieter je Modell fest. Stand November 2026 liegt die Untergrenze bei Anthropic zwischen 512 und 4.096 Token, bei OpenAI ab GPT-5.6 bei 1.024 und bei Google bei 2.048 oder 4.096 Token.
Wie lange bleibt ein Prompt im Cache?
Je nach Anbieter einige Minuten bis einige Stunden. Bei Anthropic sind es standardmäßig fünf Minuten, bei neueren OpenAI-Modellen eine Mindestlebensdauer von 30 Minuten; beide bieten gegen einen höheren Schreibpreis längere Laufzeiten.
Wie viel lässt sich mit Prompt Caching sparen?
Das hängt vom Anteil des gleichbleibenden Anfangs und von der Trefferquote ab, einen festen Wert gibt es nicht. Gelesene Cache-Token kosten bei Anthropic und bei neueren OpenAI-Modellen meist ein Zehntel des normalen Eingabepreises, das Schreiben kostet einen Aufschlag.
Was ist der Unterschied zwischen implizitem und explizitem Prompt Caching?
Beim impliziten Caching speichert der Anbieter automatisch, beim expliziten legt die Anwendung fest, bis wohin gespeichert wird. Explizite Haltepunkte erlauben, Teile mit unterschiedlicher Änderungshäufigkeit getrennt zu cachen. Google sagt Ersparnisse nur für das explizite Caching zu.
Lohnt sich Prompt Caching für kurze Prompts?
Meist nicht. Unterhalb der Mindestlänge greift es gar nicht, und bei seltenen Aufrufen verfällt der Eintrag vor der nächsten Anfrage. Bei Anbietern mit Schreibaufschlag zahlt die Anwendung dann mehr als ohne Cache.
Quellen
- Anthropic: Prompt caching, Dokumentation, Stand 9. November 2026 (englisch)
- OpenAI: Prompt caching, API-Dokumentation, Stand 9. November 2026 (englisch)
- Google: Context caching, Gemini API, Dokumentation, Stand 9. November 2026 (englisch)
- Model Context Protocol: Specification 2026-07-28, Server Features, Tools (englisch)
- vLLM: Automatic Prefix Caching, Dokumentation, Stand November 2026 (englisch)
- Gim et al.: Prompt Cache: Modular Attention Reuse for Low-Latency Inference, arXiv:2311.04934, November 2023 (englisch)
- Gu et al.: Auditing Prompt Caching in Language Model APIs, arXiv:2502.07776, Februar 2025 (englisch)