Ein Large Language Model (LLM) ist ein auf umfangreichen Textdaten trainiertes künstliches neuronales Netz, das durch die Berechnung komplexer statistischer Wahrscheinlichkeiten menschliche Sprache versteht, kontextbezogen verarbeitet und eigenständig Texte generiert – wie beispielsweise das Modell Qwen 3 14B.

Letztendlich transformiert ein llm dabei die Frage mittels eines neuronalen Netzes zu einer Antwort ohne die Frage oder die Antwort im menschlichen Sinne zu verstehen.

Wo sind die Daten in einem LLM gespeichert?

Das im Training erworbene Wissen eines Large Language Models (LLM) wird in den Parametern seines neuronalen Netzwerks gespeichert. Dazu gehören insbesondere die Gewichtsmatrizen der einzelnen Schichten (Layer), aber auch weitere trainierbare Parameter. Während des Trainings wird das Modell mit riesigen Textmengen konfrontiert. Es kopiert diese Daten jedoch nicht einfach in einen Speicher, sondern passt seine Parameter mathematisch an, um statistische Sprachmuster, Zusammenhänge und Fakten zu erlernen. Dabei können bestimmte Inhalte durchaus memorisiert und später teilweise wörtlich reproduziert werden.

Die ursprünglichen Texte werden dabei nicht als vollständige Textsammlung in den Gewichtsmatrizen abgelegt. Für die Verarbeitung werden Texte zunächst in kleinere Einheiten (Tokens) zerlegt und in numerische Vektoren übersetzt. Diese sogenannten Token-Embeddings werden mithilfe einer trainierbaren Embedding-Matrix erzeugt, die selbst Bestandteil der Modellparameter ist. Während der weiteren Verarbeitung entstehen zusätzliche, kontextabhängige numerische Repräsentationen. Die Gewichtsmatrizen der einzelnen Schichten steuern die mathematischen Transformationen dieser Vektoren. Das gesamte Netzwerk lässt sich dabei vereinfacht als ein komplexes, verteiltes Assoziationssystem verstehen.

Konkretes Faktenwissen – wie beispielsweise die Information, dass Helmut Kohl im Jahr 1984 deutscher Bundeskanzler war – ist nicht wie ein einzelner Datensatz an einer bestimmten Stelle hinterlegt. Vielmehr können solche Informationen in den verteilten Parametern des Netzwerks repräsentiert sein. Bestimmte Kombinationen von Eingabemustern und neuronalen Aktivierungen können dabei spezifische Informationen abrufbar machen. Vereinfacht lässt sich dies mit einem Schlüssel-Schloss-Prinzip vergleichen: Ein bestimmtes Eingabemuster (der „Schlüssel“, beispielsweise eine Kombination aus Deutschland, Bundeskanzler und 1984) aktiviert bestimmte Bereiche des Netzwerks. Die dadurch entstehenden Aktivierungen und Transformationen beeinflussen die Wahrscheinlichkeit möglicher Ausgabetokens, beispielsweise des Namens „Helmut Kohl“.

Da Fakten jedoch nicht in einer klassischen, strukturierten Datenbank gespeichert sind, sondern in den statistisch erlernten Parametern des Modells repräsentiert werden, kann es zu sogenannten Halluzinationen kommen. Hat das Modell bestimmte Informationen nur unzureichend gelernt oder fehlen ihm relevante Kontextinformationen, kann es Zusammenhänge falsch verknüpfen oder falsche Fakten erzeugen. Auch bei grundsätzlich gut erlernten Informationen sind solche Fehler möglich. Da ein LLM darauf trainiert ist, auf Basis des bisherigen Kontexts wahrscheinliche nächste Tokens vorherzusagen, kann es Antworten generieren, die sprachlich schlüssig und überzeugend wirken, inhaltlich aber falsch oder vollständig erfunden sind.

Die ursprünglichen Trainingsdaten liegen somit nicht einfach als lesbare Textsammlung im Modell vor. Vielmehr sind die beim Training erlernten Informationen und Zusammenhänge in einem komplexen System mathematischer Parameter repräsentiert. Dieses System ermöglicht es dem vortrainierten Modell, flexibel auf Sprache zu reagieren, gelernte Zusammenhänge zu nutzen und passende Texte dynamisch zu generieren.

2. Wie gross ist das neuronale Netz eines Llm

"Moderne LLMs können sehr umfangreich sein. Zum Beispiel hatte GPT-3, eines der größten verfügbaren LLMs bis zu meinem Kenntnisstand im September 2021, etwa 175 Milliarden Parameter. Solche Modelle können mehrere Gigabyte an Speicherplatz beanspruchen."