Quantisierung von LLMs erklärt: Bits, GGUF, Q4_K_M & Co.

Wer ein Sprachmodell selbst betreiben will, stolpert sofort über kryptische Kürzel: Q4_K_M, GGUF, FP16, AWQ. Dahinter steckt eine der wichtigsten Techniken für lokale KI: die Quantisierung. Sie entscheidet darüber, ob ein Modell auf Ihrer Hardware läuft – und wie gut. Dieser Artikel erklärt jeden Begriff, ohne Vorwissen vorauszusetzen.

Dies ist die technische Vertiefung zu unserem Leitfaden zu KI-Wissensmanagement mit lokalen & Corporate LLMs. Dort ging es um das große Bild – hier um das Detail.

1. Warum überhaupt quantisieren?

Ein Sprachmodell besteht aus Milliarden Parametern – Zahlenwerten, die es beim Training gelernt hat. Jeder dieser Werte muss gespeichert werden. Wie viel Platz das braucht, hängt davon ab, wie präzise man jede Zahl ablegt. Das übliche Format speichert jeden Wert mit 16 oder sogar 32 Bit. Bei sieben Milliarden Parametern ergibt das schon 14 GB (bei 16 Bit) – und das ist ein kleines Modell.

Quantisierung reduziert diese Präzision: Statt jeden Wert mit 16 Bit zu speichern, nimmt man z. B. nur 4 Bit. Man „rundet" die Zahlen also gröber. Das Modell wird dadurch drastisch kleiner und schneller – erstaunlicherweise fast ohne Qualitätsverlust. Die Analogie: Man muss die Uhrzeit nicht auf die Millisekunde angeben; „kurz nach zehn" reicht meistens.

2. Bits, Präzision und Zahlenformate

Ein Bit ist die kleinste Informationseinheit: 0 oder 1. Mit n Bit lassen sich 2ⁿ verschiedene Werte darstellen. Genau hier setzt Quantisierung an – sie reduziert die Zahl der Bits pro Gewicht (englisch bpw, „bits per weight"):

• FP32 (32-Bit-Fließkomma) – der „Goldstandard" beim Training. Sehr präzise, aber groß und langsam.
• FP16 (16-Bit-Fließkomma) – halbe Größe, praktisch gleiche Qualität. Der übliche Ausgangspunkt für die Auslieferung.
• BF16 („bfloat16") – ebenfalls 16 Bit, aber mit größerem Zahlenbereich (mehr Exponent, weniger Nachkommastellen). Beliebt beim Training, weil stabiler.
• INT8 (8-Bit-Ganzzahl) – halbiert FP16 nochmals, nahezu verlustfrei.
• INT4 (4-Bit-Ganzzahl) – nur noch 16 mögliche Stufen pro Wert. Der Standard für lokale Modelle.

Der Kern ist dieser Sprung von „fast stufenlos" zu „wenigen Stufen":

3. Warum funktioniert das ohne großen Qualitätsverlust?

Man würde erwarten, dass gröberes Runden ein Modell spürbar verschlechtert. In der Praxis ist der Effekt aber klein – aus zwei Gründen. Erstens sind die Milliarden Parameter hochgradig redundant: Auf einen einzelnen, leicht verschobenen Wert kommt es kaum an, das Gesamtsystem gleicht das aus. Zweitens nutzen gute Quantisierungsverfahren nicht überall dieselbe grobe Auflösung, sondern geben den wichtigen Werten mehr Präzision und den unwichtigen weniger. Erst dadurch bleibt bei 4 Bit noch so viel Qualität erhalten.

4. Wie groß wird die Datei? Die Faustformel

Die Modellgröße lässt sich grob ausrechnen:

Für ein Modell mit 7 Milliarden Parametern ergibt das je nach Quantisierung:

5. GGUF und die Quantisierungsstufen (Q2_K … Q8_0)

GGUF („GPT-Generated Unified Format") ist das heute verbreitetste Dateiformat für lokal betriebene, quantisierte Modelle. Es stammt aus dem Open-Source-Projekt llama.cpp und packt ein komplettes Modell samt Metadaten in eine einzige Datei, die effizient auf CPU, GPU oder gemischt läuft. Sein Vorgänger hieß GGML – dieser Name taucht in älteren Anleitungen noch auf, ist aber überholt.

Die kryptischen Kürzel im Dateinamen folgen einem festen Schema. Am Beispiel Q4_K_M:

• Die Ziffer (2–8) ist die ungefähre Bit-Zahl pro Gewicht – weniger = kleiner, aber gröber.
• _K steht für K-Quants: eine moderne Methode, die das Modell in kleine Blöcke aufteilt und wichtigen Blöcken mehr Präzision gibt. Ältere Kürzel wie _0 oder _1 (z. B. Q4_0) sind einfachere Legacy-Verfahren.
• _S / _M / _L = Small / Medium / Large: feinere Abstufungen innerhalb derselben Bit-Zahl. Q4_K_M ist etwas größer und besser als Q4_K_S.
• IQ-Varianten (z. B. IQ3_XXS) nutzen eine importance matrix („imatrix") – eine Kalibrierung, die anhand von Beispieltexten misst, welche Werte besonders wichtig sind. So bleibt selbst bei sehr niedrigen Bit-Zahlen mehr Qualität erhalten.

6. Wie wird quantisiert? PTQ, QAT und imatrix

Es gibt zwei grundsätzliche Wege:

• Post-Training-Quantisierung (PTQ) – das fertige Modell wird nachträglich komprimiert. Schnell, günstig, ohne erneutes Training. Das ist der Normalfall (und was GGUF-Dateien enthalten).
• Quantization-Aware Training (QAT) – das Modell wird bereits während des Trainings auf die spätere niedrige Präzision vorbereitet. Aufwändiger, kann aber bei sehr niedrigen Bit-Zahlen bessere Qualität liefern.

Die erwähnte importance matrix (imatrix) ist eine Verfeinerung der PTQ: Anhand eines kleinen Kalibrier-Datensatzes wird gemessen, welche Gewichte für typische Eingaben besonders wichtig sind – diese bekommen mehr Bits, der Rest weniger. So erreicht man bei gleicher Dateigröße spürbar bessere Ergebnisse.

7. Die anderen Ökosysteme: GPTQ, AWQ, bitsandbytes, EXL2

GGUF ist im lokalen Bereich am verbreitetsten, aber nicht das einzige Verfahren. Je nach Werkzeug und Hardware begegnen Ihnen weitere Namen:

Für den typischen Mittelstands-Anwendungsfall – ein Modell auf dem eigenen Server oder Rechner – ist GGUF die pragmatische Wahl, weil es überall läuft und Werkzeuge wie Ollama die Details übernehmen.

8. Qualität messen: Perplexity und der Sweet Spot

Wie stark verschlechtert Quantisierung ein Modell? Ein gängiges Maß ist die Perplexity („Ratlosigkeit"): Sie misst, wie sehr ein Modell von einem Text „überrascht" ist. Niedriger ist besser. Quantisierung erhöht die Perplexity leicht – bei guten Stufen (ab Q4_K_M) aber nur minimal. Erst bei sehr niedrigen Bit-Zahlen (Q2/Q3) steigt sie deutlich, das Modell macht mehr Fehler.

Trägt man Qualität gegen Größe auf, zeigt sich eine typische Kurve mit klarem „Sweet Spot":

9. Nicht vergessen: Der KV-Cache

Neben den Gewichten braucht ein laufendes Modell noch den KV-Cache – einen Zwischenspeicher, in dem der bisherige Gesprächsverlauf gehalten wird. Er wächst mit der Länge des Kontexts und kann bei langen Dokumenten mehr Speicher fressen als das Modell selbst. Die gute Nachricht: Auch der KV-Cache lässt sich quantisieren (z. B. auf 8 Bit) und spart so noch einmal spürbar Arbeitsspeicher, bei minimalem Qualitätsverlust.

10. Welche Stufe soll ich nehmen?

• Standard: Q4_K_M – der beste Kompromiss für die meisten. Läuft, passt, gute Qualität.
• Mehr Qualität, genug Speicher: Q5_K_M oder Q6_K.
• Höchste Genauigkeit (z. B. Coding, sensible Aufgaben): Q8_0.
• Sehr knapper Speicher: Q3_K_M – mit Abstrichen; Q2_K nur als Notlösung.
• Faustregel Hardware: Die Modelldatei sollte bequem in den verfügbaren VRAM/RAM passen – plus ~10–20 % Reserve für KV-Cache und Overhead.

Und der beruhigende Teil: Werkzeuge wie Ollama liefern Modelle bereits fertig quantisiert (meist Q4_K_M) aus. Für die meisten heißt Quantisierung in der Praxis also nur: das richtige Modell auswählen – nicht selbst rechnen.

Glossar

Bit / bpw

Kleinste Informationseinheit (0/1). „bpw" = bits per weight, also Bits pro Gewicht.

Parameter

Die gelernten Zahlenwerte eines Modells (Milliarden davon).

FP32 / FP16 / BF16

Fließkomma-Formate mit 32 bzw. 16 Bit. BF16 hat größeren Zahlenbereich, weniger Präzision.

INT8 / INT4

Ganzzahl-Formate mit 8 bzw. 4 Bit – Ziele der Quantisierung.

GGUF / GGML

Dateiformat für lokale, quantisierte Modelle (llama.cpp/Ollama). GGML ist der veraltete Vorgänger.

K-Quant

Modernes Quantisierungsverfahren, das das Modell blockweise mit gemischter Präzision komprimiert (das _K in Q4_K_M).

imatrix (importance matrix)

Kalibrierung, die wichtige Gewichte mehr Präzision gibt – bessere Qualität bei gleicher Größe.

PTQ / QAT

Post-Training-Quantisierung (nachträglich) bzw. Quantization-Aware Training (schon beim Training berücksichtigt).

GPTQ / AWQ / EXL2 / bitsandbytes

Alternative Quantisierungs-Ökosysteme, überwiegend für GPU-Betrieb bzw. Fine-Tuning.

Perplexity

Maß für die „Ratlosigkeit" eines Modells – niedriger ist besser; steigt mit stärkerer Quantisierung.

KV-Cache

Zwischenspeicher für den Gesprächsverlauf; wächst mit der Kontextlänge und ist ebenfalls quantisierbar.