Deep Learning

Beim klassischen Machine Learning legen Fachleute oft vorher fest, worauf ein Modell achten soll, bei einer Kreditprüfung etwa Einkommen, Laufzeit und Zahlungshistorie. Deep Learning überlässt diesen Schritt dem Modell. Ein tiefes neuronales Netz bekommt die Rohdaten, zum Beispiel die Bildpunkte eines Fotos, und baut Schicht für Schicht eigene Zwischenstufen auf. Yann LeCun, Yoshua Bengio und Geoffrey Hinton beschreiben Deep Learning in ihrem Übersichtsartikel in Nature von 2015 als Verfahren, bei dem Modelle aus mehreren Verarbeitungsschichten Darstellungen von Daten auf mehreren Abstraktionsebenen lernen.

Fast alles, was seit 2012 in der KI Aufsehen erregt hat, beruht darauf: Bilderkennung, Spracherkennung, maschinelle Übersetzung und die großen Sprachmodelle hinter ChatGPT, Claude oder Gemini. „Tief“ bezieht sich auf die Zahl der hintereinandergeschalteten Schichten, nicht auf ein tieferes Verständnis.

Für Führungskräfte ist Deep Learning vor allem eine Frage der Einordnung. Kaum ein mittelständisches Unternehmen trainiert eigene tiefe Netze; es nutzt fertig trainierte Modelle über Software oder Programmierschnittstellen. Dann zählen andere Fragen: wofür sich das Modell eignet, wie seine Ergebnisse geprüft werden, was der Betrieb kostet und wo die Daten bleiben. Für viele klassische Aufgaben mit Tabellendaten ist Deep Learning außerdem gar nicht die beste Wahl.

Was „tief“ bedeutet.

Ein neuronales Netz besteht aus Schichten künstlicher Neuronen. Die erste Schicht nimmt die Eingabe auf, die letzte liefert das Ergebnis, dazwischen liegen sogenannte verborgene Schichten. Ein Netz heißt tief, wenn mehrere verborgene Schichten hintereinander liegen. Eine feste Grenze gibt es nicht: Das Standardlehrbuch von Ian Goodfellow, Yoshua Bengio und Aaron Courville (2016) hält fest, dass es keinen Konsens darüber gibt, ab welcher Tiefe ein Modell als tief gilt.

Die Tiefe hat einen Zweck. Jede Schicht verarbeitet, was die vorige herausgearbeitet hat, und bildet daraus etwas abstraktere Muster. In der Bilderkennung reagieren frühe Schichten auf Kanten und Farbübergänge, spätere auf Formen wie Räder oder Augen, die letzten auf ganze Gegenstände. Fachleute nennen das Repräsentationslernen.

Hier liegt der praktische Unterschied zum klassischen Machine Learning. Dort legt ein Mensch vorab fest, welche Merkmale ein Modell betrachtet, und die Qualität des Ergebnisses hängt stark an dieser Auswahl. Deep Learning findet die Merkmale selbst. Das spart Handarbeit bei Bildern, Sprache und Text, wo sich gute Merkmale kaum von Hand beschreiben lassen. Der Preis sind mehr Daten, mehr Rechenleistung und Modelle, deren Innenleben schwer zu deuten ist.

So wird ein tiefes Netz trainiert.

Jede Verbindung zwischen zwei Neuronen hat ein Gewicht, eine Zahl, die bestimmt, wie stark ein Signal weitergegeben wird. Am Anfang sind diese Gewichte zufällig. Das Training stellt sie in einer Schleife so ein, dass das Netz die gewünschten Ergebnisse liefert.

Zuerst rechnet das Netz für ein Beispiel eine Vorhersage durch alle Schichten. Eine Fehlerfunktion misst, wie weit diese Vorhersage vom richtigen Ergebnis entfernt ist. Dann wird der Fehler rückwärts durch das Netz verteilt, um für jedes Gewicht zu bestimmen, in welche Richtung es sich ändern muss. Dieses Verfahren heißt Backpropagation; David Rumelhart, Geoffrey Hinton und Ronald Williams haben es 1986 in Nature bekannt gemacht. Schließlich verschiebt der Gradientenabstieg alle Gewichte einen kleinen Schritt in die Richtung, in der der Fehler sinkt. Das wiederholt sich über sehr viele Beispiele, meist in mehreren Durchgängen.

Wie beim übrigen Machine Learning entscheidet am Ende die Prüfung mit Daten, die das Netz im Training nie gesehen hat. Tiefe Netze haben so viele Gewichte, dass sie Trainingsbeispiele leicht auswendig lernen, statt allgemeine Muster zu finden. Gegen dieses Overfitting helfen mehr und vielfältigere Daten, eigene Trainingstechniken und eine saubere Trennung von Trainings-, Validierungs- und Testdaten.

Warum der Durchbruch erst nach 2010 kam.

Die Grundideen sind alt. Warren McCulloch und Walter Pitts beschrieben 1943 ein formales Modell eines Neurons, Backpropagation ist seit den 1980er Jahren bekannt. Dass tiefe Netze trotzdem lange im Schatten anderer Verfahren standen, hatte drei Gründe: zu wenig Daten, zu wenig Rechenleistung und Trainingsverfahren, die bei vielen Schichten schlecht funktionierten.

Um 2010 fielen alle drei Engpässe. Das Internet lieferte große beschriftete Bildsammlungen wie ImageNet. Grafikprozessoren (GPUs), eigentlich für Computerspiele gebaut, eigneten sich gut für die vielen gleichartigen Rechenschritte des Trainings, weil sie Tausende davon parallel ausführen. Und neue Techniken machten das Training tiefer Netze stabiler, etwa die Aktivierungsfunktion ReLU und das Verfahren Dropout.

Der sichtbare Wendepunkt kam 2012. Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton gewannen den ImageNet-Wettbewerb zur Bilderkennung mit einem tiefen Faltungsnetz, das auf zwei Grafikkarten trainiert worden war. Ihre Fehlerquote bei den fünf besten Vorschlägen lag bei 15,3 Prozent, der Zweitplatzierte kam auf 26,2 Prozent. Danach stellte sich ein Forschungsfeld nach dem anderen auf Deep Learning um. 2017 folgte mit dem Transformer die Bauform, auf der die heutigen Sprachmodelle beruhen.

Die wichtigsten Bauformen.

Deep Learning ist eine Familie von Netzarchitekturen, die jeweils für eine Datenart gebaut sind. Für ein Gespräch mit Dienstleistern genügt es, drei davon zu kennen.

Faltungsnetze (Convolutional Neural Networks, CNN) sind für Bilder gemacht. Sie schieben kleine Filter über das Bild und erkennen Muster unabhängig davon, wo sie stehen. Sie stecken in der Qualitätskontrolle am Band, in der Belegerfassung und in der medizinischen Bildauswertung.

Rekurrente Netze verarbeiten Folgen Schritt für Schritt und tragen dabei einen Zwischenstand mit, etwa bei gesprochener Sprache oder Sensordaten. Sie waren lange der Standard für Übersetzung und Spracherkennung.

Transformer, 2017 von Forschenden bei Google in der Arbeit „Attention Is All You Need“ vorgestellt, beruhen auf einem Mechanismus namens Attention: Jedes Element einer Eingabe kann direkt auf jedes andere Bezug nehmen. Das macht sie stark bei langen Texten und gut parallel trainierbar. Große Sprachmodelle, viele Bildmodelle und Modelle für Programmcode beruhen heute darauf.

Für Käufer zählt weniger die Architektur als die Frage, ob sie zur Datenart passt und ob das Modell auf eigenen Beispielen geprüft wurde.

Wann Deep Learning passt und wann nicht.

Am stärksten ist Deep Learning bei unstrukturierten Daten: Fotos, Scans, Audio, freie Texte. Dort lassen sich gute Merkmale kaum von Hand beschreiben, und die Datenmengen sind oft groß. Bei Tabellendaten, wie sie in ERP- und CRM-Systemen stehen, sieht es anders aus. Léo Grinsztajn, Edouard Oyallon und Gaël Varoquaux verglichen 2022 Verfahren auf 45 Tabellen-Datensätzen mittlerer Größe. Baumbasierte Verfahren wie Gradient Boosting schnitten dort besser ab als tiefe Netze, bei geringerem Rechenaufwand.

Dazu kommen Kosten, die in der Planung oft fehlen. Ein tiefes Netz von Grund auf zu trainieren, verlangt viele beschriftete Beispiele. Training und Betrieb brauchen Rechenleistung. Und warum ein tiefes Netz zu einem Ergebnis kommt, lässt sich nur eingeschränkt erklären, was bei Entscheidungen über Menschen oder Geld ins Gewicht fällt.

Daraus folgt eine einfache Reihenfolge. Zuerst prüfen, ob eine feste Regel oder ein klassisches Verfahren genügt. Dann prüfen, ob ein fertig trainiertes Modell die Aufgabe abdeckt, gegebenenfalls nach Anpassung mit eigenen Beispielen. Ein eigenes tiefes Netz von Grund auf lohnt sich nur bei einer klar abgegrenzten Aufgabe, eigenen Daten in großer Menge und einem Vorteil, den fertige Modelle nicht bieten.

Was Deep Learning im Unternehmen bedeutet.

In den meisten Unternehmen kommt Deep Learning als fertiges Modell ins Haus: als Sprachmodell hinter einem Assistenten, als Texterkennung in der Belegverarbeitung, als Bilderkennung in einer Prüfanlage. Trainiert hat diese Modelle der Hersteller. Das ist meist die vernünftige Wahl, weil vortrainierte Modelle ihr allgemeines Wissen mitbringen und sich mit wenigen eigenen Beispielen an eine Aufgabe anpassen lassen. Fachleute nennen das Transfer Learning; besonders breit vortrainierte Modelle heißen Foundation Models.

Die Arbeit verschiebt sich damit vom Training zum Einsatz. Wer ein solches Modell nutzt, entscheidet über die Datenwege, also welche Daten an welchen Anbieter und in welches Land gehen, über die Prüfung der Ergebnisse, über die laufenden Kosten je Aufruf und darüber, wie leicht sich das Modell später austauschen lässt.

Gute Dienstleister sprechen diese Punkte von sich aus an. Sie sagen, welches Modell eingesetzt wird und warum, wie es auf eigenen Beispielen getestet wurde, wie Fehler im Betrieb auffallen und was passiert, wenn der Hersteller das Modell ändert oder abkündigt. Ein Angebot, das Deep Learning nur als Gütesiegel nennt, sagt über die Qualität der Lösung noch nichts.

Die Grenze des Begriffs

Deep Learning bezeichnet eine Lernmethode, kein Produkt und keine Qualitätsstufe. Es ist ein Teilgebiet des Machine Learning und nicht scharf davon getrennt; neuronale Netze sind das Werkzeug, Deep Learning ist das Lernen mit vielen Schichten. Generative KI und große Sprachmodelle bauen darauf auf, sind aber nur ein Teil davon. Eine Software mit KI-Etikett nutzt nicht automatisch Deep Learning, oft stecken feste Regeln oder klassische Statistik dahinter.