Die Quantisierung im Bereich der Künstlichen Intelligenz (KI) bezeichnet ein Verfahren zur Komprimierung und Optimierung von künstlichen neuronalen Netzen, insbesondere von großen Sprachmodellen (Large Language Models, LLMs). Dabei wird die mathematische Präzision der Modellgewichte von höher bitbreitenden Zahlenformaten auf geringere Bitbreiten reduziert.

Standardmäßig werden Parameter in neuronalen Netzen mit hoher Genauigkeit gespeichert (z. B. 16-Bit-Fließkommazahlen, FP16). Bei der Quantisierung werden diese Werte in ein gitterförmiges Raster mit weniger Bitstufen konvertiert (z. B. 8-Bit- oder 4-Bit-Ganzzahlen, INT8 bzw. INT4).

Ziel des Verfahrens ist es, den Speicherbedarf (VRAM/RAM) sowie die erforderliche Rechenleistung drastisch zu senken. Dadurch können komplexe KI-Modelle auch auf ressourcenbeschränkter Hardware (wie lokalen Consumer-PCs oder mobilen Endgeräten) effizient und mit nur minimalem Genauigkeitsverlust betrieben werden.

Beispiel: Ein Modell mit 14 Milliarden Parametern benötigt im unquantisierten Format (FP16) ca. 28 GB Speicher. Durch eine 4-Bit-Quantisierung (INT4) reduziert sich der Speicherbedarf auf etwa 7 bis 8 GB, wodurch die Ausführung auf handelsüblichen Grafikkarten möglich wird.