Zum Inhalt

Chunking und Re-Ranking

Re-Ranking kann nur sortieren, was das Chunking vorher sauber geschnitten hat.

Trichter am Beispiel eines Herstellers von Verpackungsmaschinen, der seine Wartungshandbücher für den Service durchsuchbar macht. Oben die Handbücher, entlang der Kapitel geschnitten, Tabellen bleiben zusammen, Maschinentyp und Kapitel hängen an jedem Abschnitt. Die Vektordatenbank liefert die ähnlichsten Abschnitte, das Re-Ranking liest Frage und Abschnitt gemeinsam und schiebt unpassende Treffer nach hinten, nur die besten Abschnitte gehen an das Sprachmodell. Unten die Antwort mit Fundstelle. Darunter der Hinweis: Was beim Zerlegen auseinandergerissen wird, findet die Suche nicht mehr als Einheit.

Chunking bereitet Handbücher, Verträge, Richtlinien oder Wiki-Seiten für eine KI-Suche vor. Das System schneidet jedes Dokument in Abschnitte von meist einigen hundert Tokens, berechnet für jeden ein Embedding und legt es in einer Vektordatenbank ab. Auf eine Frage hin sucht es die ähnlichsten Abschnitte heraus und gibt sie einem Sprachmodell mit, das daraus die Antwort formuliert; das Verfahren heißt Retrieval-Augmented Generation (RAG). Re-Ranking ist ein zweiter Suchschritt, in dem ein genaueres Modell die Treffer noch einmal bewertet.

Das Wort stammt aus der Psychologie: George A. Miller beschrieb 1956, wie Menschen einzelne Elemente zu größeren Einheiten bündeln, den Chunks, und so mehr im Kurzzeitgedächtnis behalten.

Für Führungskräfte erklärt Chunking, warum zwei RAG-Systeme mit denselben Dokumenten sehr unterschiedlich antworten. Was beim Zerlegen auseinandergerissen wird, findet die Suche nicht mehr als Einheit, und was die Suche nicht findet, kann das Modell nicht verwenden.

Kapitel 1 von 7

Chunking legt fest, was die Suche später finden kann.

Chunking läuft beim Aufbau des Suchindex und bei jeder Änderung einer Quelle. Das System lädt ein Dokument, entfernt Kopfzeilen und Seitenzahlen, zerlegt den Text in Abschnitte und hängt an jeden Metadaten wie Dokumenttitel, Kapitel und Stand. Ein Embedding-Modell berechnet dann für jeden Abschnitt einen Zahlenvektor, der seine Bedeutung abbildet. Bei einer Frage liefert die Vektordatenbank die ähnlichsten Abschnitte, ein Re-Ranking ordnet sie neu, und die besten gehen mit der Frage an das Sprachmodell.

In der Arbeit, die RAG 2020 bekannt machte, teilten Patrick Lewis und Kollegen jeden Artikel eines Wikipedia-Abzugs in Abschnitte zu 100 Wörtern und kamen so auf 21 Millionen durchsuchbare Einheiten. Ein einziges Embedding für ein ganzes Handbuch wäre zu grob: Es mittelt über alle Themen des Handbuchs und passt dann zu keiner einzelnen Frage gut.

Kapitel 2 von 7

Vier Arten zu schneiden sind verbreitet.

Die einfachste Art schneidet nach fester Länge, gemessen in Zeichen oder Tokens. Benachbarte Abschnitte überlappen sich um einige Sätze, damit ein Gedanke an der Schnittstelle nicht verloren geht; das heißt Overlap. Microsoft nennt für Azure AI Search als Startwert 512 Tokens je Abschnitt mit 25 Prozent Überlappung.

Rekursives Chunking geht behutsamer vor. Die Text-Splitter der Bibliothek LangChain halten zuerst ganze Absätze und weichen erst auf Sätze und zuletzt auf Wörter aus, wenn ein Absatz zu lang ist.

Strukturbasiertes Chunking folgt den Überschriften, etwa in HTML oder Markdown. Für gut gegliederte Handbücher liegt das nahe, weil ein Kapitel meist ein Thema behandelt.

Semantisches Chunking trennt dort, wo sich die Bedeutung ändert: Ein Embedding-Modell vergleicht aufeinanderfolgende Sätze und schneidet bei einem deutlichen Themenwechsel. Viele Systeme kombinieren die Verfahren.

Kapitel 3 von 7

Die passende Größe ist ein Kompromiss, den man messen muss.

Kleine Abschnitte treffen präzise, verlieren aber ihren Zusammenhang. Ein Satz wie „Dieser Wert gilt nur für die ältere Baureihe“ sagt allein nicht, welcher Wert gemeint ist. Große Abschnitte behalten den Zusammenhang, mischen aber mehrere Themen in ein Embedding und füllen das Kontextfenster des Sprachmodells schneller.

Mehr Text im Kontextfenster heißt nicht bessere Antworten. Nelson Liu und Kollegen zeigten 2023 in der Studie „Lost in the Middle“, dass Sprachmodelle Informationen am Anfang und am Ende eines langen Kontexts besser nutzen als in der Mitte.

Eine allgemein beste Größe gibt es nicht. Die passende Größe ergibt sich aus Tests mit einem festen Satz echter Fragen, bei denen bekannt ist, in welchem Abschnitt die Antwort steht. Gemessen wird, wie oft die Suche genau diesen Abschnitt unter die ersten Treffer bringt.

Kapitel 4 von 7

Re-Ranking sortiert die Treffer ein zweites Mal.

Die erste Suche ist schnell, weil Frage und Abschnitte getrennt in Vektoren übersetzt werden und bei einer Anfrage nur noch verglichen wird. Dieser Aufbau heißt Bi-Encoder. Er übersieht Feinheiten, weil das Modell Frage und Text nie zusammen sieht.

Ein Re-Ranker, technisch meist ein Cross-Encoder, liest Frage und Abschnitt gemeinsam und gibt je Paar einen Relevanzwert aus. Das ist genauer, aber deutlich langsamer. Die Dokumentation der Bibliothek Sentence Transformers beschreibt deshalb die Kombination: Ein Bi-Encoder holt zum Beispiel die 100 ähnlichsten Treffer, ein Cross-Encoder ordnet diese 100 neu. Rodrigo Nogueira und Kyunghyun Cho belegten 2019 mit BERT den Nutzen eines solchen Schritts.

Anthropic berichtete 2024 aus eigenen Tests: Mit erklärendem Kontext je Abschnitt, einer zusätzlichen Stichwortsuche (BM25) und Re-Ranking sank die Fehlerquote beim Abruf der 20 besten Abschnitte von 5,7 auf 1,9 Prozent. Re-Ranking kann aber nur sortieren, was das Chunking vorher sauber geschnitten und die erste Suche gefunden hat.

Kapitel 5 von 7

Im Betrieb zählen Herkunft, Rechte und Pflege.

Jeder Abschnitt braucht seine Herkunft: Dokument, Kapitel, Stand und Fundstelle. Erst damit kann ein Assistent zu jeder Antwort die Quelle nennen, und erst damit lässt sich ein veralteter Abschnitt gezielt finden.

Zugriffsrechte gehören mit in den Index. Darf eine Abteilung ein Dokument nicht lesen, darf die Suche auch dessen Abschnitte nicht liefern. Sonst landen Auszüge aus Personal- oder Vertragsunterlagen bei Menschen, die das Original nie öffnen dürften.

Ändert sich eine Quelle, müssen ihre Abschnitte neu geschnitten und eingebettet werden, und die alten müssen raus. Kosten entstehen beim Berechnen der Embeddings, beim Speicher und, mit Re-Ranking, bei jeder Anfrage. Kleinere Abschnitte sind nicht automatisch günstiger, denn mehr Abschnitte heißen mehr Embeddings.

Eingescannte PDFs ohne Texterkennung, Tabellen ohne Spaltenköpfe und veraltete Anleitungen rettet auch die beste Zerlegung nicht.

Kapitel 6 von 7

Woran man eine gute Umsetzung erkennt.

Zuerst sieht sich der Dienstleister die Dokumente an. Er kann sagen, welche Dokumentarten es gibt und wie er jede schneidet: Fließtext anders als Tabellen, Handbücher anders als Mails.

Tabellen und Listen bleiben als Einheit erhalten oder tragen ihre Spaltenköpfe in jeden Abschnitt mit. Abschnitte aus der Mitte eines Dokuments kennen dessen Titel und Kapitel.

Es gibt einen Satz Testfragen mit bekannter Fundstelle, und die Trefferquote wird vor dem Start und nach jeder Änderung gemessen. Ob sich Re-Ranking, semantisches Chunking oder ein anderes aufwendigeres Verfahren lohnt, zeigen diese Tests besser als jedes Datenblatt.

Die Antworten nennen ihre Fundstelle, damit Nutzer sie prüfen können. Außerdem ist geregelt, wer geänderte Dokumente neu einspielt und wie schnell gelöschte Inhalte aus dem Index verschwinden.

Kapitel 7 von 7

Die Grenze des Begriffs

Chunking verbessert das Finden. Veraltete Dokumente bleiben veraltet, und gegen Halluzinationen hilft es nur, soweit das Modell bessere Belege bekommt. Chunking ist ein Schritt innerhalb von RAG und semantischer Suche. Embeddings sind die Zahlendarstellung der Abschnitte, die Vektordatenbank ist ihr Speicher, Tokenisierung ist die Zerlegung für das Modell.

Häufige Fragen

Was ist Chunking?

Chunking ist das Zerlegen von Dokumenten in kleinere Abschnitte, damit eine KI-Suche gezielt die passende Stelle findet. Jeder Abschnitt wird einzeln als Embedding gespeichert. In der Psychologie meint der Begriff das Bündeln von Informationen zu Einheiten, die sich leichter merken lassen.

Was ist Re-Ranking?

Re-Ranking ist ein zweiter Suchschritt, der die Treffer einer schnellen ersten Suche mit einem genaueren Modell neu ordnet. Der Re-Ranker liest Frage und Abschnitt zusammen und vergibt je Paar einen Relevanzwert.

Welche Chunk-Größe ist optimal für RAG?

Eine allgemein optimale Chunk-Größe gibt es nicht, sie hängt von Dokumenten und Fragen ab. Microsoft nennt für Azure AI Search 512 Tokens mit 25 Prozent Überlappung als Startwert. Ob ein Wert passt, zeigen Tests mit echten Fragen.

Was ist semantisches Chunking?

Semantisches Chunking setzt die Grenzen dort, wo sich die Bedeutung des Textes ändert, statt nach fester Länge zu schneiden. Es ist aufwendiger und lohnt sich, wenn Tests bessere Treffer zeigen.

Was ist der Unterschied zwischen Chunking und Tokenisierung?

Tokenisierung zerlegt Text in Wörter und Wortteile für das Sprachmodell, Chunking zerlegt Dokumente in Abschnitte für die Suche. Tokenisierung läuft bei jedem Modellaufruf, Chunking beim Aufbau des Suchindex.

Was bedeutet Overlap beim Chunking?

Overlap ist Text, der am Ende eines Abschnitts und am Anfang des nächsten steht. Er verhindert, dass ein Gedanke genau an der Schnittstelle zerfällt. Zu viel Overlap vergrößert den Index und liefert doppelte Treffer.

Braucht man Chunking bei großen Kontextfenstern noch?

Ja, meistens, weil auch große Kontextfenster keine ganzen Dokumentbestände fassen und jeder zusätzliche Token Geld und Zeit kostet.

    ↑ ↓ wählen · Enter öffnen · Esc schließen