Zum Inhalt

Eine Kette aus Einzelmodellen verliert Information zwischen den Stufen.

Vergleich am Beispiel des Sprachmodus von ChatGPT, wie OpenAI ihn im Mai 2024 beschrieben hat. Links die frühere Kette aus drei Modellen: Eines schrieb die Sprache in Text um, GPT-3.5 oder GPT-4 beantwortete den Text, ein drittes las die Antwort vor; Tonfall, mehrere Sprecher und Hintergrundgeräusche kamen beim Sprachmodell nicht an, und die Antwort kam im Schnitt nach 2,8 beziehungsweise 5,4 Sekunden. Rechts GPT-4o, das alle Ein- und Ausgaben im selben neuronalen Netz verarbeitet und im Schnitt nach 320 Millisekunden antwortet. Darunter die Frage an jeden Dienstleister, welche Information zwischen den Stufen verloren geht.

Eine Modalität ist eine Art von Daten: geschriebene Sprache, Bilder, gesprochene Sprache und andere Töne, Bewegtbild. Ein reines Sprachmodell nimmt nur Text an. Ein multimodales Modell liest dagegen ein Foto, die Frage dazu und eine angehängte PDF-Datei in einem Durchgang und antwortet in Text; manche geben auch Bilder oder gesprochene Sprache aus.

Google stellte Gemini im Dezember 2023 als von Beginn an multimodal vortrainiertes Modell vor. OpenAI kündigte im Mai 2024 GPT-4o an, das laut Ankündigung jede Kombination aus Text, Audio, Bild und Video annimmt und Text, Audio und Bild ausgibt. Anthropic dokumentiert für Claude die Auswertung von Bildern.

Für Unternehmen werden damit Scans, Fotos und Sprachnachrichten direkt auswertbar, die bisher jemand abtippen musste. Die Modelle lesen aber auch Zahlen falsch, beschreiben Dinge, die nicht im Bild sind, und verarbeiten mit jedem Foto womöglich personenbezogene Daten. Ob sich ein Einsatz lohnt, zeigt erst ein Test mit echten Belegen aus dem eigenen Haus.

Kapitel 1 von 7

So verarbeitet ein Modell Bild, Ton und Text gemeinsam.

Ein multimodales Modell zerlegt Bilder und Töne in Token, so wie ein Sprachmodell den Text. Anthropic beschreibt das für Claude konkret: Das Bild wird in Blöcke von 28 × 28 Pixeln aufgeteilt, jeder Block zählt als ein Bild-Token. Ein Bild mit 1.000 × 1.000 Pixeln ergibt so 1.296 Token. Diese Token stehen im selben Kontext wie die Wörter der Frage, und das Modell bezieht beides aufeinander.

Bilder und Wörter verbinden Modelle, indem sie aus Paaren lernen. Ein bekannter Baustein ist CLIP, das OpenAI 2021 veröffentlichte. Das Modell wurde mit 400 Millionen Bild-Text-Paaren aus dem Internet darauf trainiert, zu erkennen, welche Bildunterschrift zu welchem Bild gehört.

Auflösung kostet also Token und damit Geld, und was Menschen auf einem Bild kaum lesen können, liest auch das Modell nicht sicher.

Kapitel 2 von 7

Ein nativ multimodales Modell verarbeitet alles in einem Netz.

OpenAI beschreibt den Unterschied am eigenen Produkt. Der Sprachmodus von ChatGPT war vor GPT-4o eine Kette aus drei Modellen: Eines schrieb die Sprache in Text um, GPT-3.5 oder GPT-4 beantwortete den Text, ein drittes las die Antwort vor. Die Antwort kam im Schnitt nach 2,8 Sekunden mit GPT-3.5 und nach 5,4 Sekunden mit GPT-4. Das Sprachmodell bekam weder Tonfall noch mehrere Sprecher noch Hintergrundgeräusche mit. GPT-4o verarbeitet alle Ein- und Ausgaben im selben neuronalen Netz und antwortet laut OpenAI auf Audio im Schnitt nach 320 Millisekunden.

Google beschrieb Gemini ähnlich: von Beginn an multimodal vortrainiert, statt aus getrennten Teilen je Modalität zusammengesetzt.

Eine Kette aus Einzelmodellen verliert Information zwischen den Stufen. Dafür lässt sich jede Stufe einzeln testen und austauschen, und Texterkennung (OCR) ist für saubere Formulare erprobt. Vor der Auswahl lohnt die Frage an den Dienstleister, welche Information zwischen den Stufen verloren geht: Layout, Tabellenstruktur, Handschrift oder Tonfall.

Kapitel 3 von 7

Wo multimodale KI im Betrieb hilft.

Belege wie Eingangsrechnungen, Lieferscheine und Quittungen kommen als Scan, PDF oder Handyfoto. Das Modell liest Lieferant, Positionen und Beträge aus und legt sie als Felder ab. Bei Fotos von Schäden, etwa zu einer Reklamation oder einem Versicherungsfall, beschreibt es, was zu sehen ist, und ordnet die Meldung vor. In Formularen liest es auch Handschrift und Stempel, sofern sie gut erkennbar sind. Aus der Aufnahme einer Besprechung entstehen Protokoll und Aufgabenliste. Vorher ist zu klären, ob alle Beteiligten zugestimmt haben und auf welcher Rechtsgrundlage die Aufnahme verarbeitet wird.

In allen Fällen schlägt das Modell vor, und das Ergebnis wird gegen vorhandene Daten geprüft: Bestellnummer, Lieferantenstamm, Summe der Positionen. Menschen sehen sich nur die Fälle an, bei denen Felder fehlen oder Werte nicht passen.

Kapitel 4 von 7

Die Fehler sehen anders aus als bei Text.

Ein multimodales Modell kann Ziffern verwechseln oder einen unscharfen Betrag plausibel ergänzen. Anthropic weist darauf hin, dass Claude bei schlechter Bildqualität, gedrehten oder sehr kleinen Bildern unter 200 Pixeln halluzinieren oder Fehler machen kann und Objekte nur ungefähr zählt. Eine Studie von 2023 beschreibt Objekt-Halluzinationen großer Bild-Sprach-Modelle: Sie nennen Gegenstände, die im Bild fehlen, vor allem solche, die oft zusammen mit den abgebildeten Dingen vorkommen.

Das Open Worldwide Application Security Project (OWASP) führt in seiner Risikoliste für LLM-Anwendungen von 2025 die multimodale Prompt Injection: Ein Angreifer versteckt Anweisungen in einem Bild und bringt das Modell so zu unerlaubten Handlungen oder zur Preisgabe von Daten. Bilder von außen sind deshalb unsichere Eingaben. Ein Kundenfoto darf allein keine Zahlung und keine Gutschrift auslösen.

Als Fälschungsprüfung taugt ein multimodales Modell nicht. Anthropic schreibt, dass Claude nicht erkennen kann, ob ein Bild mit KI erzeugt wurde.

Kapitel 5 von 7

Bei Fotos und Stimmen gelten DSGVO und AI Act.

Fotos, Videos und Sprachaufnahmen enthalten oft personenbezogene Daten: Gesichter, Kfz-Kennzeichen, Stimmen. Dann gilt die DSGVO, mit einem externen Modellanbieter in der Regel samt Vertrag zur Auftragsverarbeitung. Strengere Regeln gelten für biometrische Daten nach Artikel 4 Nummer 14 und Artikel 9 DSGVO. Ein Lichtbild fällt nach Erwägungsgrund 51 aber nur darunter, wenn es mit speziellen technischen Mitteln verarbeitet wird, die eine Person eindeutig identifizieren oder authentifizieren.

Die KI-Verordnung (EU) 2024/1689 verbietet seit dem 2. Februar 2025 in Artikel 5 Absatz 1 Buchstabe f KI-Systeme, die Emotionen einer Person am Arbeitsplatz oder in Bildungseinrichtungen ableiten, außer aus medizinischen oder Sicherheitsgründen. Eine Stimmungsanalyse von Mitarbeitenden aus Telefonaten kann darunter fallen. Erzeugt ein Modell Bilder, Töne oder Videos, greifen die Kennzeichnungspflichten nach Artikel 50, bei realistischen Darstellungen echter Personen die Regeln für Deepfakes.

Kapitel 6 von 7

Woran man eine gute Umsetzung erkennt.

Grundlage ist ein Testsatz echter Dokumente aus dem eigenen Haus, darunter schiefe Handyfotos und Handschrift. Für jedes Feld ist bekannt, was richtig ist, und gemessen wird je Feld: Ein falscher Betrag ist ein Fehler, auch wenn alles andere stimmt.

Im Betrieb prüft das System jedes Ergebnis gegen Regeln, also ob die Summe der Positionen stimmt, ob es die Bestellnummer gibt und ob der Lieferant im Stamm steht. Unsichere Fälle gehen an Menschen. Bilder werden vor dem Senden auf die nötige Auflösung gebracht, weil jedes Bild nach seiner Größe in Token abgerechnet wird.

Geklärt ist, an welchen Anbieter die Bilder gehen, in welchem Land sie verarbeitet werden und wie lange sie gespeichert bleiben. Wechselt der Anbieter das Modell, läuft derselbe Testsatz noch einmal.

Kapitel 7 von 7

Die Grenze des Begriffs

Multimodal beschreibt, welche Datenarten ein Modell verarbeitet, nicht wie gut es das tut. Ein großes Sprachmodell (LLM) arbeitet im engeren Sinn nur mit Text, viele aktuelle Foundation Models sind aber multimodal. Generative KI meint das Erzeugen neuer Inhalte und überschneidet sich mit multimodaler KI. Eine Software mit Upload-Feld, hinter der nur Texterkennung und ein Textmodell laufen, ist eine Kette aus Einzelmodellen.

Häufige Fragen

Was ist multimodale KI?

Multimodale KI ist ein KI-Modell, das mehrere Datenarten wie Text, Bild, Ton und Video verarbeitet und aufeinander bezieht. Es beantwortet etwa eine Frage zu einem Foto oder fasst eine Sprachaufnahme zusammen.

Was ist der Unterschied zwischen unimodaler und multimodaler KI?

Unimodale KI verarbeitet eine Datenart, etwa nur Text, multimodale KI mehrere zugleich. Der Gewinn liegt im Zusammenhang: Ein Foto zeigt einen Schaden, den die Textmeldung nur andeutet.

Welche Modelle sind multimodal?

Bekannte Beispiele sind Gemini von Google, im Dezember 2023 als von Beginn an multimodal trainiert vorgestellt, und GPT-4o von OpenAI aus dem Mai 2024. Auch Anthropic dokumentiert für Claude die Auswertung von Bildern. Die unterstützten Ein- und Ausgaben ändern sich mit jeder Version; maßgeblich ist die Anbieterdokumentation.

Wo wird multimodale KI im Unternehmen eingesetzt?

Multimodale KI wird dort eingesetzt, wo Informationen als Scan, Foto oder Aufnahme vorliegen: beim Auslesen von Rechnungen und Lieferscheinen, bei Fotos von Schäden, bei handschriftlichen Formularen und bei Protokollen aus Besprechungen. Das Modell macht Vorschläge, die gegen vorhandene Daten geprüft werden.

Welche Risiken hat multimodale KI?

Typische Risiken sind falsch gelesene Zahlen, erfundene Bilddetails, personenbezogene Daten in Fotos und Aufnahmen und in Bildern versteckte Anweisungen. Gegen Lesefehler helfen Plausibilitätsprüfungen und Stichproben, gegen versteckte Anweisungen die Regel, dass ein Bildinhalt allein keine Handlung auslöst.

Was kostet multimodale KI?

Modellschnittstellen rechnen meist nach Token ab; Bilder, Ton und Video werden dafür umgerechnet. Größere Bilder und längere Aufnahmen kosten mehr. Dazu kommt Aufwand für Anbindung, Tests mit echten Belegen und die Nachkontrolle unsicherer Fälle; einen Pauschalpreis gibt es nicht.

    ↑ ↓ wählen · Enter öffnen · Esc schließen