---
title: "Small Language Model (SLM): Definition und Beispiel – Carl-Uwe Würfel"
description: "Small Language Model (SLM) erklärt: wie kleine Sprachmodelle entstehen, wann sie ein großes Modell ersetzen, was der Eigenbetrieb kostet und worauf es ankommt."
url: https://carl-wuerfel.de/glossar/small-language-model
author: Carl-Uwe Würfel
---

1. [Start](https://carl-wuerfel.de/)
  2. [Wissen](https://carl-wuerfel.de/wissen)
  3. [Glossar](https://carl-wuerfel.de/glossar)
  4. Small Language Model (SLM)

# Small Language Model (SLM)

Ein Small Language Model (SLM) ist ein Sprachmodell mit vergleichsweise wenigen Parametern, das auf einem einzelnen Rechner oder Endgerät läuft und sich für eng umrissene Textaufgaben eignet.

## Auf dieser Seite

  1. So wird ein Sprachmodell klein
  2. SLM und LLM im Vergleich
  3. Wofür kleine Modelle taugen
  4. Anpassen statt neu trainieren
  5. Was der Eigenbetrieb kostet und wovon das abhängt
  6. Woran man eine gute Umsetzung erkennt
  7. Die Grenze des Begriffs
  8. Häufige Fragen
  9. Quellen

Nicht jede Aufgabe braucht das größte Modell.

_Abbildung: Entscheidungsweg am Beispiel eines Versandhändlers, der jeden Tag viele Kundenmails erhält. Ein kleines Modell auf einem eigenen Server ordnet jede Mail einer Kategorie wie Rücksendung, Lieferstatus oder Reklamation zu und liest die Bestellnummer aus. Unklare Fälle und schwierige Reklamationen gehen an ein großes Modell oder direkt an das Serviceteam. Vor dem Start hat das Team beide Modelle an einer Stichprobe echter, anonymisierter Mails verglichen und die Fehlerquote festgehalten._

**Beispiel**

Ein Versandhändler erhält jeden Tag viele Kundenmails. Ein kleines Modell auf einem eigenen Server ordnet jede Mail einer Kategorie wie Rücksendung, Lieferstatus oder Reklamation zu und liest die Bestellnummer aus. Unklare Fälle und schwierige Reklamationen gehen an ein großes Modell oder direkt an das Serviceteam. Vor dem Start hat das Team beide Modelle an einer Stichprobe echter, anonymisierter Mails verglichen und die Fehlerquote festgehalten.

Ein Small Language Model arbeitet nach demselben Prinzip wie ein großes Sprachmodell. Es ist ein neuronales Netz auf Basis der Transformer-Architektur, zerlegt Text in [Token](https://carl-wuerfel.de/glossar/token) und sagt das jeweils nächste Token voraus. Der Unterschied liegt in der Größe. Große Modelle laufen im Rechenzentrum auf vielen Grafikprozessoren, ein SLM passt auf einen einzelnen Server, einen Arbeitsplatzrechner, ein Notebook oder ein Smartphone. Eine feste Grenze gibt es nicht. Forschende von NVIDIA beschreiben ein SLM 2025 als Sprachmodell, das auf ein übliches Endgerät passt und dort schnell genug für die Anfragen eines einzelnen Nutzers antwortet. Als Faustregel für den damaligen Stand nennen sie weniger als 10 Milliarden Parameter.

Die Kategorie wandert mit jeder Modellgeneration. Was heute als klein gilt, hätte vor wenigen Jahren als großes Modell gegolten. Kleine Varianten bieten unter anderem Microsoft (Phi), Google (Gemma), IBM (Granite), Alibaba (Qwen), Mistral AI und Meta (Llama) an, viele davon mit frei herunterladbaren Gewichten (Stand November 2026).

Für Führungskräfte ist der Begriff wichtig, weil er Kosten, Datenhoheit und Abhängigkeit neu verhandelt. Nicht jede Aufgabe braucht das größte Modell. Wiederkehrende, klar umrissene Aufgaben wie das Einordnen von Anfragen oder das Auslesen von Belegen lassen sich mit einem kleinen Modell oft schneller, günstiger und im eigenen Haus erledigen. Ob das für eine bestimmte Aufgabe gilt, zeigt nur eine Messung mit echten Beispielen.

## So wird ein Sprachmodell klein.

Kleine Modelle entstehen auf vier Wegen, die Hersteller oft kombinieren. Der erste ist ein Training mit besonders sorgfältig ausgewählten Daten. Microsoft hat mit Phi-3-mini 2024 ein Modell mit 3,8 Milliarden Parametern vorgestellt, das klein genug für ein Smartphone ist. Die Leistung führt der technische Bericht vor allem auf stark gefilterte Webdaten und synthetische Trainingsdaten zurück.

Der zweite Weg ist die Wissensdestillation, die Geoffrey Hinton, Oriol Vinyals und Jeff Dean 2015 beschrieben haben. Ein großes Modell dient als Lehrer, das kleine Modell lernt, dessen Antworten nachzubilden. Der dritte Weg ist das Beschneiden, englisch Pruning: Teile des Netzes, die wenig beitragen, werden entfernt. NVIDIA hat 2024 gezeigt, wie aus einem Modell mit 15 Milliarden Parametern durch Beschneiden und Destillation Varianten mit 8 und 4 Milliarden Parametern entstehen, mit weniger als 3 Prozent der ursprünglichen Trainingsdaten.

Der vierte Weg ist die Quantisierung. Dabei werden die Gewichte mit weniger Bits gespeichert. Das Verfahren GPTQ zeigte 2022, dass sich selbst sehr große Modelle auf 3 oder 4 Bit je Gewicht verkleinern lassen, bei geringem Qualitätsverlust. Der Speicherbedarf sinkt dadurch auf einen Bruchteil.

## SLM und LLM im Vergleich.

SLM und [LLM](https://carl-wuerfel.de/glossar/llm) teilen die Technik und unterscheiden sich in Breite, Hardware und Kostenstruktur. Ein großes Sprachmodell bringt breites Weltwissen mit, beherrscht viele Sprachen und Fachgebiete und hält lange, offene Schlussketten durch. Ein kleines Modell hat weniger Platz für Wissen und spielt seine Stärken bei engen Aufgaben aus: Es antwortet schneller, braucht weniger Strom und läuft auf Hardware, die ein Unternehmen selbst kontrolliert.

Auch die Abrechnung unterscheidet sich. Ein großes Modell nutzen die meisten Unternehmen über die Schnittstelle eines Anbieters und zahlen je Token. Ein lokal betriebenes kleines Modell verursacht feste Kosten für Hardware und Betrieb, unabhängig von der Zahl der Aufrufe.

Die Parameterzahl allein ist ein unscharfes Merkmal. Bei Mixture-of-Experts-Modellen rechnet für jedes Token nur ein Teil des Netzes. Das 2025 erschienene gpt-oss-20b von OpenAI hat laut Modellkarte 21 Milliarden Parameter, von denen 3,6 Milliarden je Token aktiv sind, und läuft dank Quantisierung mit 16 Gigabyte Speicher. Aussagekräftiger als die Größe ist deshalb, wo ein Modell läuft und was eine erledigte Aufgabe kostet.

## Wofür kleine Modelle taugen.

Kleine Modelle passen zu Aufgaben, die in großer Zahl und immer ähnlich anfallen. Typisch sind das Einordnen von Anfragen, Tickets oder Dokumenten in feste Kategorien, das Auslesen von Feldern wie Rechnungsnummer, Betrag oder Lieferdatum, das Zusammenfassen kurzer Texte und das Entfernen personenbezogener Daten, bevor ein Text an ein großes Modell weitergeht. Auf Geräten ohne verlässliche Verbindung, etwa in Fahrzeugen, Maschinen oder im Außendienst, sind sie oft die einzige Möglichkeit, Sprache zu verarbeiten.

Eine wachsende Rolle spielen kleine Modelle in [KI-Agenten](https://carl-wuerfel.de/glossar/ki-agenten). Das NVIDIA-Papier von 2025 argumentiert, dass viele Teilschritte solcher Systeme wiederholend, eng begrenzt und ohne freies Gespräch sind. Dafür reichten kleine Modelle aus, und sie seien wirtschaftlicher. Die Autoren schlagen gemischte Systeme vor: kleine Modelle als Standard, große nur dort, wo eine Aufgabe sie braucht. Das ist eine begründete Position der Autoren, kein gemessener Branchenstand.

Grenzen zeigen sich bei offener Recherche, bei Planung über viele Schritte, bei seltenem Fachwissen und bei Aufgaben, die viel Allgemeinwissen verlangen. Dort bleibt ein großes Modell die bessere Wahl, und ein kleines Modell erfindet eher Details.

## Anpassen statt neu trainieren.

Ein Unternehmen trainiert kein eigenes SLM von Grund auf. Es wählt ein vorhandenes Modell und passt es an. Die Reihenfolge folgt dem Aufwand. Zuerst kommen klare Anweisungen und einige Beispiele im Prompt. Fehlt dem Modell Wissen, etwa aus internen Handbüchern, liefert [Retrieval-Augmented Generation](https://carl-wuerfel.de/glossar/rag) (RAG) vor jeder Antwort die passenden Textstellen mit.

Reicht beides nicht, folgt das [Fine-Tuning](https://carl-wuerfel.de/glossar/fine-tuning) mit eigenen Beispielen. Bei kleinen Modellen ist es besonders wirksam, weil sie sich mit überschaubarem Aufwand auf eine einzige Aufgabe spezialisieren lassen. Verbreitet ist LoRA, ein 2021 veröffentlichtes Verfahren: Die ursprünglichen Gewichte bleiben unverändert, trainiert werden nur kleine Zusatzmatrizen. Die Autoren berichten für ein sehr großes Modell, dass sich die Zahl der trainierbaren Parameter damit um den Faktor 10.000 verringert. Bei kleinen Modellen genügt dafür oft eine einzelne Grafikkarte.

Entscheidend ist die Qualität der Beispiele. Ein kleines Modell übernimmt Fehler und Lücken der Trainingsdaten ungefiltert. Vor dem Training gehört deshalb ein Prüfsatz mit echten, beschrifteten Fällen fest, an dem jede Version gemessen wird.

## Was der Eigenbetrieb kostet und wovon das abhängt.

Für viele kleine Modelle fällt keine Lizenzgebühr an. Der Betrieb kostet trotzdem Geld. Dazu gehören Anschaffung oder Miete von Grafikprozessoren, Strom, Einrichtung und Anbindung an bestehende Systeme, Updates und Sicherheitspflege, Überwachung der Qualität und die Arbeitszeit von Menschen, die das System betreuen. Diese Kosten fallen an, ob das Modell viel oder wenig zu tun hat.

Eine Schnittstelle zu einem großen Modell kostet dagegen nur bei Nutzung, abgerechnet je Token. Ob sich der Eigenbetrieb rechnet, hängt deshalb vor allem am Volumen und an der Gleichmäßigkeit der Last. Bei wenigen oder stark schwankenden Aufrufen ist die Schnittstelle meist günstiger. Bei hohem, gleichmäßigem Volumen einer immer gleichen Aufgabe kann sich das Verhältnis umkehren. Daneben zählen Gründe jenseits des Preises: Daten, die das Haus nicht verlassen sollen, Antwortzeiten im Millisekundenbereich oder Betrieb ohne Netz.

Viele Anbieter stellen kleine Modelle auch über ihre Schnittstellen bereit. Dann sinkt der Preis je Token, der Betrieb bleibt beim Anbieter. Für die Entscheidung taugt nur ein Vergleich der Kosten je erledigter Aufgabe über alle Wege, gerechnet mit dem echten Volumen.

## Woran man eine gute Umsetzung erkennt.

Eine gute Umsetzung beginnt mit einer klar beschriebenen Aufgabe und einem Prüfsatz aus echten Fällen. Kleines und großes Modell werden an denselben Fällen gemessen, und das Ergebnis entscheidet, nicht eine öffentliche Rangliste. Ranglisten messen allgemeine Fähigkeiten und veralten schnell.

Die Lizenz ist vor dem Einsatz geprüft. Frei herunterladbare Gewichte bedeuten nicht automatisch, dass kommerzielle Nutzung, Veränderung oder Weitergabe erlaubt sind. Die Architektur trennt Anwendung und Modell: Eine Zwischenschicht leitet Anfragen an das passende Modell, schwierige Fälle an ein größeres, und bucht die Kosten jedes Aufrufs. So lässt sich ein Modell austauschen, ohne die Anwendungen umzubauen.

Datenschutz und Recht sind mitgedacht. Lokaler Betrieb hält Daten im Haus, die Pflichten aus der DSGVO bleiben aber bestehen: Rechtsgrundlage, Zweckbindung, Löschung und Zugriffsrechte. Auch die Pflichten aus der KI-Verordnung für Unternehmen, die KI einsetzen, gelten unabhängig von der Modellgröße.

Warnzeichen sind Angebote ohne Messung an eigenen Fällen, das Versprechen, lokal sei automatisch datenschutzkonform, und Systeme, in denen niemand die Qualität nach einem Modellwechsel erneut prüft.

## Die Grenze des Begriffs

Small Language Model beschreibt Größe und Betriebsform eines Sprachmodells, nicht seine Qualität und nicht seine Lizenz. Die Grenze zum LLM ist fließend und verschiebt sich mit jeder Hardwaregeneration. Ein SLM kann selbst ein [Foundation Model](https://carl-wuerfel.de/glossar/foundation-model) sein, das breit vortrainiert wurde; ein klassisches Modell für genau eine Aufgabe, etwa ein Spamfilter ohne Sprachgenerierung, ist dagegen kein SLM. Klein heißt außerdem nicht lokal: Viele kleine Modelle laufen auch bei Anbietern in der Cloud.

## Häufige Fragen

Was ist ein Small Language Model?

Ein Small Language Model ist ein Sprachmodell mit vergleichsweise wenigen Parametern, das auf einem einzelnen Server, Rechner oder Endgerät läuft. Es nutzt dieselbe Technik wie große Sprachmodelle und eignet sich vor allem für eng umrissene, wiederkehrende Textaufgaben.

Was ist der Unterschied zwischen SLM und LLM?

Beide beruhen auf der Transformer-Architektur, ein LLM ist aber deutlich größer. Es bringt mehr Weltwissen mit und bewältigt offene, vielschichtige Aufgaben, braucht dafür Rechenzentren und wird meist je Token abgerechnet. Ein SLM ist schneller und günstiger im Betrieb, dafür enger in seinen Fähigkeiten.

Ab wie vielen Parametern ist ein Sprachmodell klein?

Eine verbindliche Grenze gibt es nicht. Forschende von NVIDIA nannten 2025 als Faustregel weniger als 10 Milliarden Parameter und betonten, dass sich die Grenze mit der Hardware verschiebt. Praktischer ist die Frage, ob das Modell auf einem einzelnen Gerät schnell genug antwortet.

Kann man ein Small Language Model lokal betreiben?

Ja, das ist einer der Hauptgründe für kleine Modelle. Sind die Gewichte frei verfügbar, läuft das Modell mit passender Laufzeitumgebung auf eigenen Servern oder Arbeitsplatzrechnern. Die Pflichten aus DSGVO und KI-Verordnung bleiben dabei bestehen.

Welche Small Language Models sind Open Source?

Viele kleine Modelle erscheinen mit frei herunterladbaren Gewichten, etwa aus den Familien Phi, Gemma, Granite, Qwen, Mistral oder Llama (Stand November 2026). Das sind meist Open-Weight-Modelle, nicht Open Source im strengen Sinn. Was erlaubt ist, regelt die jeweilige Lizenz.

Was kostet ein Small Language Model?

Lizenzgebühren fallen oft nicht an, wohl aber Kosten für Hardware, Strom, Einrichtung, Pflege und Betreuung. Über die Schnittstelle eines Anbieters kostet ein kleines Modell je Token meist weniger als ein großes. Ob sich der Eigenbetrieb lohnt, hängt vor allem vom Volumen ab.

Sind Small Language Models die Zukunft von KI-Agenten?

Für viele Teilschritte von Agenten spricht einiges dafür. Ein vielzitiertes NVIDIA-Papier von 2025 argumentiert, dass wiederkehrende, eng begrenzte Schritte mit kleinen Modellen günstiger und ausreichend gut erledigt werden. Für offene Planung über viele Schritte bleiben große Modelle im Vorteil.

Gibt es Small Language Models auf Deutsch?

Viele kleine Modelle sind mehrsprachig trainiert und verarbeiten auch Deutsch. Die Qualität unterscheidet sich je Modell und Aufgabe deutlich. Sie lässt sich nur an eigenen deutschsprachigen Beispielen beurteilen, nicht an englischen Ranglisten.

## Weiter

  * [**KI-Glossar**](https://carl-wuerfel.de/glossar)
  * [**Die gemeinsame KI-Infrastruktur**](https://carl-wuerfel.de/systeme)
  * [**KI-Kosten: Wer sie nicht je Aufruf kennt, steuert blind**](https://carl-wuerfel.de/notizen/ki-api-kosten-im-betrieb-kontrollieren)
  * [**LLM: Large Language Model**](https://carl-wuerfel.de/glossar/llm)
  * [**Fine-Tuning**](https://carl-wuerfel.de/glossar/fine-tuning)
  * [**Token** Begriff](https://carl-wuerfel.de/glossar/token)
  * [**Foundation Model (Basismodell)** Begriff](https://carl-wuerfel.de/glossar/foundation-model)
  * [**Open-Source- und Open-Weight-Modell** Begriff](https://carl-wuerfel.de/glossar/open-source-llm)

## Quellen

  1. [Peter Belcak u. a. (NVIDIA): Small Language Models are the Future of Agentic AI, 2025](https://arxiv.org/abs/2506.02153)
  2. [Microsoft: Phi-3 Technical Report, 2024](https://arxiv.org/abs/2404.14219)
  3. [Geoffrey Hinton, Oriol Vinyals, Jeff Dean: Distilling the Knowledge in a Neural Network, 2015](https://arxiv.org/abs/1503.02531)
  4. [Saurav Muralidharan u. a. (NVIDIA): Compact Language Models via Pruning and Knowledge Distillation, 2024](https://arxiv.org/abs/2407.14679)
  5. [Elias Frantar u. a.: GPTQ, Accurate Post-Training Quantization for Generative Pre-trained Transformers, 2022](https://arxiv.org/abs/2210.17323)
  6. [Edward J. Hu u. a.: LoRA, Low-Rank Adaptation of Large Language Models, 2021](https://arxiv.org/abs/2106.09685)
  7. [OpenAI: Modellkarte gpt-oss-20b auf Hugging Face, 2025 (englisch)](https://huggingface.co/openai/gpt-oss-20b)