Ein Parameter bezeichnet im Kontext der Künstlichen Intelligenz (KI) und des maschinellen Lernens eine interne Stellgröße eines künstlichen neuronalen Netzes, die während des Trainingsprozesses vom Modell selbstständig erlernt und angepasst wird.

Parameter bestehen im Wesentlichen aus mathematischen Gewichten (Weights) und Schwellenwerten (Biases). Sie bestimmen, wie stark eingehende Informationen gewichtet, verknüpft und durch die einzelnen Schichten des Netzwerks weitergeleitet werden. In großen Sprachmodellen (LLMs) repräsentieren die Parameter das gesamte gelernte Wissen sowie die Fähigkeit zur Mustererkennung und Spracherzeugung.

Die Anzahl der Parameter gilt als zentrales Maß für die Kapazität und Komplexität eines KI-Modells. Je mehr Parameter ein Modell besitzt, desto feingliedrigere Zusammenhänge kann es erfassen, was jedoch gleichzeitig den Rechenaufwand und den Speicherbedarf für das Training und den Betrieb (Inferenz) erhöht.

Beim Training lernt ein 14b-Modell 14 Milliarden Werte so einzustellen, dass es Zusammenhänge, Grammatik, Logik und Fakten aus Texten erkennt.