ChatGPT wird in sehr unterschiedlichen Anwendungen genutzt, etwa zum Beantworten von Fragen, zum Verfassen und Überarbeiten von Texten oder zur Strukturierung von Inhalten. In diesen Situationen entsteht leicht der Eindruck eines verstehenden Gesprächspartners. Technisch betrachtet handelt es sich jedoch um einen streng geregelten Rechenprozess. 

ChatGPT arbeitet nicht wie ein Mensch, der versteht, urteilt oder Erfahrungen macht. Er ist ein Sprachprogramm, das mit mathematischen Verfahren arbeitet. Seine Antworten entstehen aus Wahrscheinlichkeitsberechnungen, aus sogenannten Aufmerksamkeitsmechanismen sowie aus statistischen Erfahrungen, die aus sehr großen Mengen gelesener Texte gewonnen wurden.

1. Sprache wird in Zahlen übersetzt

Computer können keine Wörter verstehen. Deshalb wird jeder Text zunächst in Zahlen umgewandelt. Wörter oder Wortteile erhalten feste Zahlenwerte. Diese Zahlen stehen nicht für Bedeutungen im menschlichen Sinn, sondern für statistische Beziehungen innerhalb von Sprache.

Ein Wort wie „Hund“ ist für das System weder eine Vorstellung noch ein Begriff, sondern eine Zahl, die häufig in der Nähe anderer bestimmter Zahlen auftaucht, etwa bei „Tier“, „bellt“ oder „läuft“.

2. Wahrscheinlichkeiten steuern den Text 

ChatGPT erzeugt Texte, indem fortlaufend berechnet wird, welches Wort als Nächstes am wahrscheinlichsten passt. Dabei handelt es sich um sogenannte Anschlusswahrscheinlichkeiten, also um die rechnerische Einschätzung, wie gut ein Wort an den bisherigen Text anschließt.

Beispiel:
„Die Schule beginnt um acht …“
Mit sehr hoher Wahrscheinlichkeit folgt „Uhr“. 

Diese Entscheidung wird nicht einmalig, sondern für jedes einzelne Wort neu getroffen. So entsteht der Text Schritt für Schritt und Wort für Wort.

3. Aufmerksamkeitsmechanismen ordnen Zusammenhänge  

Neben der Anschlusswahrscheinlichkeit spielen Aufmerksamkeitsmechanismen eine zentrale Rolle. Sie bezeichnen ein technisches Verfahren, mit dem berechnet wird, welche Wörter innerhalb eines Satzes besonders stark miteinander verbunden sind und welche für den Sinnzusammenhang besonderes Gewicht haben.

Dabei geht es um den jeweiligen Einfluss der Wörter aufeinander. Nicht alle Wörter tragen gleichermaßen zur Bedeutung eines Satzes bei. Einige strukturieren den Zusammenhang, andere füllen ihn lediglich aus.

Beispiel:
„Der Schüler legt sein Buch auf den Tisch, weil er lernt.“ 

Der Aufmerksamkeitsmechanismus sorgt dafür, dass das Personalpronomen „er“ mit dem Subjekt „Schüler“ verbunden wird und nicht mit dem Objekt „Tisch“. Solche Verbindungen betreffen sowohl grammatische Beziehungen als auch inhaltliche oder zeitliche Zusammenhänge.

4. Viele Rechenschritte arbeiten zusammen  

Der Text wird nicht in einem einzigen Rechenschritt verarbeitet, sondern durchläuft mehrere aufeinander aufbauende Schichten, die jeweils unterschiedliche Aufgaben übernehmen. In den unteren Schichten werden einfache Merkmale erkannt, zum Beispiel Wortarten sowie typische Positionen von Wörtern im Satz. Diese Schichten arbeiten wie eine erste grobe Sortierung des sprachlichen Materials.

Darauf aufbauend werden Wörter miteinander verknüpft, Bezüge im Satz erkannt und Teilsätze zu größeren Einheiten zusammengeführt. 

In den oberen Schichten geht es schließlich um den Gesamtzusammenhang, um typische Aussagen und um den Sinnverlauf eines Textes. Man kann sich das als ein mehrstöckiges Ordnungssystem vorstellen, bei dem unten die Zahlen grob sortiert werden, die Ordnung nach oben hin immer feiner wird und am Ende aus den reinen Zahlen ein sprachlich geschlossener und verständlicher Text entsteht.

5. Der Kontext ist begrenzt 

ChatGPT kann immer nur einen bestimmten Teil des bisherigen Textes berücksichtigen. Dieser Bereich heißt Kontext. Innerhalb dieses Rahmens werden die Anschlusswahrscheinlichkeiten und Aufmerksamkeitsmechanismen gemeinsam berechnet. 

Informationen, die außerhalb dieses Rahmens liegen, können für die aktuelle Antwort nicht herangezogen werden.

6. Lernen durch viele Fehler 

Beim Training hat ChatGPT Milliarden von Sätzen verarbeitet. Er sollte jeweils das nächste Wort vorhersagen. Lag er falsch, wurde der Fehler berechnet und die internen Rechenwerte wurden geringfügig angepasst. 

Durch sehr viele Wiederholungen lernte das System, immer passendere und stabilere Wortfolgen zu erzeugen.

7. Warum ChatGPT trotzdem nicht wirklich etwas versteht  

ChatGPT hat kein Bewusstsein, keine eigenen Erfahrungen und kein Verständnis davon, was wahr oder falsch ist. Er erzeugt Texte, weil sie sprachlich gut passen, nicht weil er ihren Inhalt geprüft oder begriffen hätte. Auch wenn seine Gewichte sehr fein eingestellt sind, bleibt seine Arbeitsweise eine rechnerische Operation.

Er berechnet, welche Wörter erfahrungsgemäß gut aufeinander folgen, und erkennt dabei Muster in der Sprache, jedoch keine Bedeutungen im menschlichen Sinn. Deshalb können seine Antworten verständlich und sehr überzeugend klingen, ohne dass echtes Verstehen zugrunde liegt. 

ChatGPT ist ein Werkzeug, das beim Ordnen, Formulieren und Erklären helfen kann. Denken, Prüfen und Bewerten bleiben Aufgaben des Menschen.

• Anschlusswahrscheinlichkeit
  Anschlusswahrscheinlichkeit bezeichnet die rechnerische Einschätzung, wie gut ein Wort an den bisherigen Text anschließt. Sie beschreibt nicht die Bedeutung eines Wortes, sondern seine statistische Passung im gegebenen Zusammenhang. ChatGPT erzeugt Texte, indem er fortlaufend Wörter mit hoher Anschlusswahrscheinlichkeit auswählt.

• Aufmerksamkeitsmechanimus
  Der Aufmerksamkeitsmechanismus (engl. attention mechanism) bezeichnet ein technisches Rechenverfahren, mit dem ChatGPT bestimmt, welche Wörter in einem Satz für andere Wörter besonders wichtig sind. Dabei wird berechnet, wie stark einzelne Wörter aufeinander wirken und welchen Einfluss sie auf den Gesamtzusammenhang haben. In der Sprachwissenschaft spricht man in diesem Zusammenhang von syntaktischen Beziehungen.

• Bindungskraft
  Bindungskraft beschreibt anschaulich, wie eng Wörter oder Satzteile im Text miteinander verknüpft werden. Eine hohe Bindungskraft bedeutet, dass Wörter stark aufeinander bezogen sind und gemeinsam den Sinnzusammenhang prägen. Der Begriff dient der Veranschaulichung und ist kein technischer Fachausdruck.

• Einfluss
  Einfluss beschreibt den Grad der Aufmerksamkeit. Er gibt an, wie stark ein Wort bei der Berechnung anderer Wörter berücksichtigt wird und wie sehr es den Sinnzusammenhang prägt.

• Gewichte
  Beim Lernen passt ChatGPT viele interne Zahlen an. Diese Zahlen nennt man Gewichte.

  Gewichte bestimmen, wie stark Wörter, Satzteile und Zusammenhänge einander beeinflussen. Man kann sich Gewichte wie Stellschrauben vorstellen. Wird eine Stellschraube leicht gedreht, verändert sich der Einfluss eines Wortes im Verhältnis zu anderen. Beim Training werden diese Stellschrauben fortlaufend nachjustiert, je nachdem, ob eine Vorhersage richtig oder falsch war. ChatGPT speichert dabei keine Texte. Er verändert ausschließlich diese Gewichte, bis typische Wortfolgen zuverlässig vorhergesagt werden können.

• Kontext
  Der Kontext ist der Textbereich, den ChatGPT bei einer Antwort berücksichtigen kann. Innerhalb dieses Rahmens werden Aufmerksamkeitsmechanismen und Anschlusswahrscheinlichkeiten berechnet.

• Neuronales Netz
  Ein neuronales Netz ist eine Rechenstruktur aus vielen miteinander verbundenen Schichten, die Zahlen verarbeitet und Muster erkennt, ohne sie zu verstehen oder zu bewerten.

• Training
  Beim Training wurden sehr große Textmengen verwendet. Dazu gehörten öffentlich zugängliche Texte, digitale Bibliotheken sowie viele unterschiedliche Textsorten. Beispiele sind frei verfügbare Werke aus dem Project Gutenberg, klassische literarische Texte etwa von William Shakespeare oder Johann Wolfgang von Goethe, ebenso wie Sachtexte, Zeitungsartikel, Anleitungen und allgemeinsprachliche Texte. 

  ChatGPT hat diese Texte nicht gespeichert, sondern aus ihnen gelernt, wie Sprache aufgebaut ist und wie typische Formulierungen verwendet werden. Dabei merkt sich ChatGPT keine einzelnen Bücher oder Autoren, sondern erkennt statistische Muster in Sprache, Satzbau und Ausdruck.