Self-Supervised Learning erzeugt sein Lernsignal aus den Daten selbst — man verdeckt einen Teil und lässt das Modell ihn vorhersagen. So werden LLMs vortrainiert.
Was bedeutet Self-Supervised Learning?
Das Modell erzeugt sich sein Lernsignal aus den Daten selbst: Man verdeckt einen Teil der Daten und lässt das Modell ihn vorhersagen. Das „Label“ ist also einfach der verdeckte Teil — kein Mensch muss labeln, und trotzdem lernt das Modell wie beim Supervised Learning gegen eine richtige Antwort.
Abgrenzung — worauf es ankommt
Der feine, aber wichtige Unterschied zu Unsupervised: Unsupervised sucht Struktur ohne Vorhersageziel; Self-Supervised hat ein klares Vorhersageziel, nur stammt es aus den Daten selbst statt von Menschen. Genau so werden LLMs vortrainiert — der Trick, der Training auf Billionen von Wörtern ohne menschliche Labeler möglich macht.
Beispiel aus der Praxis
„Der Kunde hat die Rechnung nicht ___“ → Modell soll „bezahlt“ vorhersagen. Milliardenfach wiederholt lernt es dabei Grammatik, Fakten und Zusammenhänge — als Nebenprodukt der Vorhersageaufgabe.
Zum Weiterdenken
Zwei klassische Varianten: autoregressiv (nächstes Token vorhersagen — GPT-Familie) und Masked Language Modeling (zufällig maskierte Wörter mitten im Satz erraten — BERT). Auch Bild-Modelle lernen so, z. B. indem sie verdeckte Bildausschnitte rekonstruieren.
Self-Supervised Learning in Ihrem Unternehmen nutzen?
Von der Theorie in die Praxis: Wir zeigen Ihnen den passenden Weg — pragmatisch, DSGVO-konform und messbar.
Kostenlos · unverbindlich