Was ist Quantisierung (Model Quantization) bei KI-Modellen?

Quantisierung (Model Quantization) ist ein Verfahren, das die Zahlenwerte eines trainierten KI-Modells – vor allem die Gewichte, also die gelernten Parameter – mit weniger Bits speichert. Statt jedes Gewicht als 16- oder 32-Bit-Kommazahl abzulegen, wird es etwa auf 8 Bit (INT8) oder 4 Bit (INT4) reduziert. Das Modell wird dadurch kleiner und schneller bei der Antwortgenerierung, oft mit nur geringem Genauigkeitsverlust.

Der Zweck von Quantisierung ist nicht in erster Linie die Dateigröße auf der Festplatte, sondern der Speicherbedarf im Grafikkartenspeicher und die Bandbreite, die nötig ist, um die Gewichte zur Recheneinheit zu transportieren (zeroentropy.dev). Ein Beispiel: Ein Modell mit 70 Milliarden Parametern belegt in 16-Bit-Format (fp16) rund 140 GB und passt nicht auf eine einzelne H100-Grafikkarte. Dasselbe Modell in INT4 belegt etwa 35 GB und passt bequem auf eine Karte (zeroentropy.dev).

Warum Quantisierung überhaupt funktioniert

Die zentrale Beobachtung: Die Gewichte und Aktivierungen neuronaler Netze enthalten erhebliche überflüssige Genauigkeit (meta-intelligence.tech). Anders gesagt – nicht jede Nachkommastelle trägt zur Qualität der Ergebnisse bei. Der Übergang von 16-Bit-Kommazahlen (FP16) auf 4-Bit-Ganzzahlen (INT4) reduziert den Speicherbedarf um etwa 75 %, wobei der Genauigkeitsverlust in typischen Fällen unter einem Prozent liegt (meta-intelligence.tech).

Die Größenordnung lässt sich einfach nachrechnen: Von FP32 auf INT8 wird ein Modell viermal kleiner, von FP32 auf INT4 achtmal kleiner (rumn.medium.com). In Prozent ausgedrückt lassen sich Modellgrößen von FP32 auf INT4 um bis zu 87,5 % reduzieren, ohne die Genauigkeit entscheidend zu beeinträchtigen (biteno.com).

Die gängigen Zahlenformate

Modelle werden meist in 16- oder 32-Bit-Kommazahlen trainiert und anschließend für den Betrieb (die sogenannte Inferenz) verkleinert. Die wichtigsten Formate im Überblick:

• FP32 (32-Bit-Kommazahl): volle Genauigkeit, hoher Rechen- und Speicherbedarf.
• FP16 / bf16 (16-Bit-Kommazahl): häufiger Kompromiss aus Genauigkeit und Tempo, oft Ausgangspunkt der Quantisierung (medoid.ai).
• INT8 (8-Bit-Ganzzahl): deutlich kleiner und schneller. INT8 rechnet laut Forschung etwa doppelt so schnell wie FP16 und hat bessere Hardware-Unterstützung, gerade auf sparsamen Geräten (sciencedirect.com).
• INT4 (4-Bit-Ganzzahl): starke Kompression, mehr Risiko für Genauigkeitsverlust, in der Praxis aber oft vertretbar.
• FP8 / FP4: neuere 8- und 4-Bit-Gleitkommaformate, die INT4 und INT8 bei der Inferenz beschleunigen und Speicherbedarf senken (mind-verse.de).

Ein häufiger Ansatz ist gemischt: Nicht jeder Teil des Modells braucht höchste Genauigkeit. Oft bleiben einzelne, empfindliche Schichten in höherer Präzision, während der Rest stark verkleinert wird (rumn.medium.com).

Zwei Wege: PTQ und QAT

Es gibt zwei grundsätzliche Vorgehensweisen (ieeexplore.ieee.org):

Post-Training Quantization (PTQ) setzt an einem fertig trainierten Modell an und verkleinert es nachträglich, ohne weiteres Training (ibm.com). PTQ ist schnell und günstig, weil kein neuer Trainingslauf nötig ist. Der Nachteil: Bei aggressiver Kompression kann die Genauigkeit spürbar sinken.

Quantization-Aware Training (QAT) bezieht die reduzierte Genauigkeit bereits in das Training oder Fine-Tuning ein (ibm.com). Das Modell „lernt" also, mit weniger Bits zurechtzukommen, und liefert am Ende bessere Ergebnisse. Der Preis: QAT braucht erhebliche Rechenressourcen und Zugang zu Trainingsdaten (ibm.com).

In der Praxis läuft es oft als Entscheidungsbaum: Zuerst PTQ anwenden, dann prüfen, ob die Genauigkeit ausreicht. Falls nicht, folgt QAT oder eine Kombination mit anderen Kompressionsverfahren (developer.nvidia.com). Ein verwandter Ansatz ist die Wissensdestillation, bei der ein kleineres Modell das Verhalten eines größeren nachahmt.

Wozu das im Unternehmenseinsatz wichtig ist

Quantisierung entscheidet mit darüber, welche Modelle sich wo betreiben lassen und was der Betrieb kostet. Kleinere Modelle passen auf günstigere Hardware, antworten schneller und senken die Rechenlast (ibm.com). Für den Aufbau von AI-Mitarbeitern heißt das konkret: kürzere Antwortzeiten und geringere laufende Kosten – zwei Faktoren, die direkt in die ROI-Betrachtung einfließen.

Wichtig ist die Abwägung: Höhere Kompression spart Ressourcen, kann aber die Antwortqualität mindern. Deshalb gehört Quantisierung nicht isoliert betrachtet, sondern zusammen mit einer sauberen Qualitätsmessung. Ob ein stark verkleinertes Modell für eine konkrete Aufgabe – etwa die Lead-Qualifizierung – ausreicht, zeigt sich erst in der Evaluation an realen Aufgaben. Für einfache, gut abgegrenzte Aufgaben genügt oft ein kompaktes, quantisiertes Modell; bei anspruchsvollem Schlussfolgern kann sich höhere Präzision auszahlen.

Häufige Fragen

Verliert ein Modell durch Quantisierung immer an Genauigkeit?

Nicht zwangsläufig spürbar. Beim Übergang von FP16 auf INT4 liegt der Genauigkeitsverlust in typischen Fällen unter einem Prozent (meta-intelligence.tech). Ob der Verlust im konkreten Fall vertretbar ist, hängt von der Aufgabe ab und lässt sich nur durch eine Evaluation an echten Daten beurteilen.

Was ist der Unterschied zwischen PTQ und QAT?

PTQ (Post-Training Quantization) verkleinert ein bereits trainiertes Modell nachträglich, ohne weiteres Training – schnell und günstig, aber mit Risiko für Genauigkeitseinbußen. QAT (Quantization-Aware Training) bezieht die reduzierte Genauigkeit schon ins Training ein und liefert oft bessere Ergebnisse, braucht dafür aber deutlich mehr Rechenleistung und Trainingsdaten (ibm.com).

Warum spart Quantisierung Speicher und Zeit?

Weil jedes Gewicht mit weniger Bits gespeichert wird. Von FP32 auf INT8 wird ein Modell viermal kleiner, auf INT4 achtmal (rumn.medium.com). Entscheidend ist neben der Größe die geringere Bandbreite, um die Gewichte zur Recheneinheit zu bringen – das beschleunigt die Antwortgenerierung (zeroentropy.dev).

Welches Zahlenformat ist das richtige?

Das hängt von Hardware und Aufgabe ab. INT8 gilt als robuster Kompromiss und rechnet laut Forschung etwa doppelt so schnell wie FP16 bei guter Hardware-Unterstützung (sciencedirect.com). INT4 spart mehr, birgt aber mehr Risiko für Qualitätsverlust. In der Praxis werden Formate oft gemischt und die Wahl an einer Evaluation festgemacht.