Token
Ein Token ist eine Verarbeitungseinheit eines Sprachmodells, etwa ein Wortteil, ein Zeichen oder eine andere codierte Information.
Text
Tokenisierung
Eine Folge von Tokens
So funktioniert Token.
Bevor ein Sprachmodell einen Text verarbeiten kann, zerlegt es Eingabe und Ausgabe in Tokens. Wie diese Zerlegung genau aussieht, hängt vom jeweiligen Modell ab.
Die Grenze des Begriffs.
Eine feste Umrechnung von Wörtern in Tokens passt nicht zu jeder Sprache und jedem Inhalt.