Die Geschichte hinter ChatGPT: Wie Transformer-Architekturen die KI-Welt erobern

In dem nach ihm benannten Touring Test interagiert ein Mensch sowohl mit einem Menschen als auch mit einer Künstlichen Intelligenz. Der Test gilt als bestanden, wenn der menschliche Prüfer in der Interaktion die Maschine nicht mehr von einem Menschen unterscheiden kann. Heutige GenAI Systeme wie ChatGPT sind diesem Ziel seitdem sehr viel nähergekommen. Grund für uns, sich mal die geschichtliche Entwicklung der Sprachverarbeitung (englisch NLP – Natural Language Processing) anzuschauen.

 Grundsätzlich lässt sich die Entwicklung der Sprachverarbeitung in folgende Phasen einteilen:

1. Regelbasierte Ansätze

Einer der ältesten Ansätze auf dem Gebiet der Sprachverarbeitung sind regelbasierte Ansätze, die in den 1960er Jahren entwickelt wurden. Diese funktionieren – wie der Name schon sagt – mit einer Reihe von vordefinierten Regeln, bei denen der Input eines Texts oder einer Sprache auf einen bestimmten Output gemappt wird. Eine der ersten Anwendungen war der ELIZA Chatbot aus dem Jahr 1966. Er simuliert ein Gespräch mit einem Psychotherapeuten, indem Benutzereingaben mit einfachen Mustererkennungen und Regeln beantwortet werden.

2. Statistische Verfahren

Weiter geht es in den 1980er Jahren mit dem Aufkommen von statistischen Ansätzen. Diese Ansätze nutzten Wahrscheinlichkeitsmodelle und statistische Methoden, um sprachliche Muster in großen Textkorpora zu analysieren und zu verstehen. Insbesondere zu nennen sind hier Hidden Markov Models (HMM), Conditional Random Fields (CRFs), Support Vector Machines (SVM) und n-gram language models.

3. Neuronale Netze, Word Embeddings, Deep Learning & das Vanashing Gradient Problem

Obwohl die Ursprünge der Entwicklung von neuronalen Netzen bis in die 1940er und 1950er Jahren zurückreichen, hat sich ihr Einsatz vor allem in den 1990er und 2000er Jahren verbreitet. Neuronale Netze sind inspiriert von der Struktur und Funktionsweise des menschlichen Gehirns und bestehen aus vielen miteinander verbundenen Neuronen, die in Schichten organisiert sind. Diese neuronalen Netze werden dann im Rahmen der Sprachverarbeitung für bestimmte Aufgaben, wie z.B. Texterkennung oder -generierung, trainiert.

Word Embeddings sind ein weiteres wichtiges Konzept in der Sprachverarbeitung. Es wurde in den 2000er Jahren eingeführt und hat seit 2013 mit dem Word2Vec Verfahren eine besondere Verbreitung gefunden. Word Embeddings sind mathematische Darstellungen von Wörtern in einem mehrdimensionalen Raum, die so trainiert sind, dass Wörter mit ähnlicher Bedeutung in der Nähe voneinander liegen. Ein einfaches Beispiel: Die Begriffe „Programmierer“ und „Entwickler“ liegen in diesem Raum sehr nahe beieinander, während sie eher weiter entfernt sind von Begriffen wie „Sonne“ oder „Tageslicht“.

Die Prinzipien Neuronaler Netze und von Word Embeddings sind heute eine ganz wichtige Grundlage für alle weiteren Entwicklungen und damit auch für alle heutigen Large Language Models (LLMs), die GenAI System wie ChatGPT oder Llama zugrunde liegen.

Durch die Entwicklung immer komplexerer tiefer neuronaler Netze (Deep Learning) kam ein neues Phänomen zum Tragen, das Vanishing Gradient Problem. Kurz gesagt kommen hier große neuronale Netze mit sehr vielen Schichten an einen Punkt, an dem sie nicht mehr effizient trainiert werden können. D.h. Anpassungen/Erkenntnisse im Lernprozess werden im neuronalen Netz nicht mehr effizient zwischen den tiefen Schichten weitergegeben, mit dem Effekt, dass der Trainingsprozess faktisch zum Erliegen kommt und buchstäblich einfriert.

4. RNN, LSTM, GNTM

Um dem Vanishing Gradient Problem zu begegnen, wurde eine Reihe zunehmend komplexerer Architekturen für neuronale Netze eingesetzt und entwickelt.

Recurrente Neuronale Netze (RNN) wurden bereits in den 1980er Jahren entwickelt. Besondere Verbreitung erfuhren sie aber ab den 2010er Jahren, da sie sich mit steigender Rechenleistung und der Entwicklung verbesserter Algorithmen als besonders effektiv im Umgang mit dem Vanishing Gradient Problem erwiesen haben. RNNs sind eine Form eines neuronalen Netzes mir einer rekurrenten – d.h. rückläufigen – Struktur, bei der Informationen durch Schleifen in der Netzwerkarchitektur zurückgeführt werden. Dadurch können zeitliche Abhängigkeiten bei der Verarbeitung von Textsequenzen berücksichtigt werden. Das Netz verfügt über eine Art „Gedächtnis“ – hidden state genannt.

Eine Weiterentwicklung der RNNs die seit etwa 2013 eine größere Verbreitung gefunden haben, sind Long-Short-Term Memory (LSTM) Architekturen. Diese ermöglichen es Informationen über längere Zeiträume hinweg im Netz zu speichern. LSTMs verfügen über Mechanismen wie Eingangs-, Ausgangs- und Vergessensgates, um die Informationsflusskontrolle zu verbessern. Sie sind daher für größer werdende Textsequenzen geeignet.

Aufbauend auf diesen Entwicklungen geht es dann ab dem Jahr 2016 mehr oder weniger Schlag auf Schlag mit den Fortschritten in der Sprachverarbeitung. Los geht es mit der Einführung von Googles GNMT (Google Neural Machine Translation). Einem maschinellen Übersetzungssystem, das im Vergleich zu früheren Systemen erheblich besser funktionierte.

5. “Attention is all you need”, Transformer Architekturen, LLMs und GPTs

Weiter geht es im Jahr 2017 mit dem wegweisenden Paper „Attention is All You Need“ von Vaswani et al., welches mit der Einführung von Transformer Architekturen die Grundlage für alle heute verbreiteten und erfolgreichen Sprachverarbeitungssysteme wie ChatGPT (GPT steht hierbei für Generative Pre-trained Transformers), Llama usw. darstellt. Grundlage für die Transformer Architekturen ist der sogenannte Attention-Mechanismus. Eine Technik in neuronalen Netzwerken, die es ermöglicht, den Fokus selektiv auf die wichtigen Teile von Sätzen zu legen, sodass das Modell relevantere Informationen eines Textes stärker berücksichtigt. Begriffe mit hoher Bedeutung werden also besonders hoch gewichtet. Dieser Mechanismus wird dann in Transformer Architekturen – d.h. auch hier wieder Architekturen neuronaler Netze – so verfeinert, dass diese in der Lage sind, komplexe Beziehungen zwischen Begriffen auch über sehr lange Texte hinweg zu erkennen und diese dann auch über eine Vielzahl sehr großer Datensätze hinweg effizient zu verarbeiten bzw. zu erlernen.

Aufbauend auf den beschriebenen Transformer Architekturen werden dann in der Folge alle heute relevanten und großen Large Language Models (LLMs) entwickelt. Der Begriff leitet sich dabei von einer sehr großen Menge an trainierten Parametern und einer massiven Menge Daten ab, mit denen das Modell trainiert wurde. Zu nennen sind hier unter anderem:

Produkt	Anbieter	Veröffentlichungsdatum	Anzahl Parameter
GPT-1	OpenAI	Juni 2018	117 Millionen
BERT Large	Google	Oktober 2018	340 Millionen
GPT-2	OpenAI	November 2019	1,5 Milliarden
GPT-3	OpenAI	Juni 2020	175 Milliarden
PaLM	Google	April 2022	540 Milliarden
GPT-3.5	OpenAI	November 2022	Keine öffentliche Informationen verfügbar.
Llama 1	Meta	Februar 2023	Bis zu 65 Milliarden
GPT-4	OpenAI	März 2023	Keine öffentliche Informationen verfügbar. Schätzungen gehen in die Billionen.
Claude 1	Anthropic	März 2023	Keine öffentliche Informationen verfügbar.
Llama 2	Meta	Juli 2023	Bis zu 70 Milliarden
Claude 2	Anthropic	Juli 2023	Keine öffentliche Informationen verfügbar. Schätzungen gehen von >100 Milliarden Parametern aus.
Llama 3	Meta	April 2024	Bis zu 70 Milliarden

Unsere Einschätzung

Im November 2022 wurde ChatGPT veröffentlicht, basierend auf einem für Konversationen optimierten Modell von GPT-3.5. Diese Entwicklung fiel jedoch nicht über Nacht vom Himmel. Sie ist das Ergebnis einer kontinuierlichen, aufeinander aufbauenden Entwicklung. Die Anfänge dieser Entwicklung liegen bereits in den 1950er Jahren und halten bis heute an.

Die Entwicklung der Sprachverarbeitung hat dabei mehrere entscheidende Phasen durchlaufen. Beginnend mit regelbasierten Ansätzen in den 1960er Jahren, über statistische Verfahren in den 1980er Jahren, bis hin zu neuronalen Netzen und Deep Learning in den 1990er und 2000er Jahren. Der Durchbruch in den letzten Jahren kam mit der Einführung von Transformer-Architekturen. Diese basieren auf dem Attention-Mechanismus und bilden seit 2017 die Grundlage für moderne Sprachmodelle wie GPT.

Heute erleben wir eine Welt, die durch GenAI noch schneller und effizienter wird. Tools wie ChatGPT können eine Vielzahl von Aufgaben und Anwendungen realisieren. Sie sind darüber hinaus ein vielseitiges Werkzeug, das in vielen Bereichen des täglichen Lebens und der Arbeit eingesetzt werden kann. So hilft KI heute Hürden zwischen Menschen, Technologien, Sprachen und Kulturen abzubauen. Die Evolution dieser Technologie zeigt, dass die aktuellen Fortschritte in der KI – insbesondere im Bereich der Sprachverarbeitung – nicht nur technische Meilensteine darstellen, sondern auch tiefgreifende Auswirkungen auf unsere Gesellschaft und die Art und Weise, wie wir interagieren, arbeiten und leben, haben.

Diese Entwicklung wird aktuell laut den meisten Experten nur durch die zur Verfügung stehenden Rechen- und Speicherkapazitäten begrenzt. Aus diesem Grund gibt es Moonshot Projekte wie beispielsweise Stargate. Für das bis zu 100 Milliarden Dollar Investitionskosten allein für Hardware geplant sind. Es wird spannend sein zu sehen, ob und wann diese Entwicklung – wie schon so oft in der Vergangenheit – wieder an eine Grenze stößt und welche neuen Konzepte dann entwickelt werden, um diese Grenze wieder zu verschieben.