Quantisierung von LLMs erklärt: Bits, GGUF, Q4_K_M & Co.

Wer ein Sprachmodell selbst betreiben will, stolpert sofort über kryptische Kürzel: Q4_K_M, GGUF, FP16, AWQ. Dahinter steckt eine der wichtigsten Techniken für lokale KI: die Quantisierung. Sie entscheidet darüber, ob ein Modell auf Ihrer Hardware läuft – und wie gut. Dieser Artikel erklärt jeden Begriff, ohne Vorwissen vorauszusetzen.

Dies ist die technische Vertiefung zu unserem Leitfaden zu KI-Wissensmanagement mit lokalen & Corporate LLMs. Dort ging es um das große Bild – hier um das Detail.

1. Warum überhaupt quantisieren?

Ein Sprachmodell besteht aus Milliarden Parametern – Zahlenwerten, die es beim Training gelernt hat. Jeder dieser Werte muss gespeichert werden. Wie viel Platz das braucht, hängt davon ab, wie präzise man jede Zahl ablegt. Das übliche Format speichert jeden Wert mit 16 oder sogar 32 Bit. Bei sieben Milliarden Parametern ergibt das schon 14 GB (bei 16 Bit) – und das ist ein kleines Modell.

Quantisierung reduziert diese Präzision: Statt jeden Wert mit 16 Bit zu speichern, nimmt man z. B. nur 4 Bit. Man „rundet" die Zahlen also gröber. Das Modell wird dadurch drastisch kleiner und schneller – erstaunlicherweise fast ohne Qualitätsverlust. Die Analogie aus dem Alltag: Wenn jemand nach der Uhrzeit fragt, antwortet niemand auf die Millisekunde genau – meist nicht einmal auf die Sekunde, oft nicht einmal auf die Minute. „Kurz nach zehn" reicht völlig. Entscheidend ist der Kontext: Die gröbere Angabe genügt, solange sie für den Zweck präzise genug ist. Genauso verhält es sich mit den unzähligen Zahlen im Modell.

2. Bits, Präzision und Zahlenformate

Ein Bit ist die kleinste Informationseinheit: 0 oder 1. Mit n Bit lassen sich 2ⁿ verschiedene Werte darstellen. Genau hier setzt Quantisierung an – sie reduziert die Zahl der Bits pro Gewicht (englisch bpw, „bits per weight"):

• FP32* (32-Bit-Fließkomma) – der „Goldstandard" beim Training. Sehr präzise, aber groß und langsam.
• FP16* (16-Bit-Fließkomma) – halbe Größe, praktisch gleiche Qualität. Der übliche Ausgangspunkt für die Auslieferung.
• BF16* („bfloat16") – ebenfalls 16 Bit, aber mit größerem Zahlenbereich (mehr Exponent, weniger Nachkommastellen). Beliebt beim Training, weil stabiler.
• INT8* (8-Bit-Ganzzahl) – halbiert FP16 nochmals, nahezu verlustfrei.
• INT4* (4-Bit-Ganzzahl) – nur noch 16 mögliche Stufen pro Wert. Der Standard für lokale Modelle.

* FP = Floating Point (Fließkommazahl, kann Nachkommastellen wie 0,8372 darstellen). INT = Integer (Ganzzahl). BF = Brain Float (eine bei Google entwickelte 16-Bit-Variante). Die Zahl dahinter gibt jeweils die Anzahl der Bits an.

Der Kern ist dieser Sprung von „fast stufenlos" zu „wenigen Stufen":

3. Warum funktioniert das ohne großen Qualitätsverlust?

Man würde erwarten, dass gröberes Runden ein Modell spürbar verschlechtert. Der entscheidende Befund der Forschung ist jedoch: Nicht alle Gewichte sind gleich wichtig. Der Großteil der Milliarden Parameter verträgt eine niedrige Präzision problemlos – nur ein kleiner Teil ist wirklich kritisch. Gute Quantisierungsverfahren erkennen genau diese wenigen wichtigen Werte und schützen sie, während sie den Rest stark komprimieren.

Drei einflussreiche Arbeiten haben das gezeigt:

• LLM.int8() (Dettmers et al., 2022): Einige wenige „Ausreißer"-Werte mit ungewöhnlich großer Magnitude geben den Ausschlag. Die Lösung: über 99,9 % der Werte in 8 Bit rechnen, nur diese Ausreißer in 16 Bit halten.^[4]
• AWQ (Lin et al., 2023): Rund 1 % der Gewichte („salient weights") bestimmen den Großteil der Qualität. Schützt man diese gezielt, bleibt die Qualität auch bei 4 Bit hoch.^[5]
• GPTQ (Frantar et al., 2022): Nutzt mathematische Zusatzinformationen (eine Näherung der sogenannten Hesse-Matrix), um den Rundungsfehler beim Quantisieren gezielt auszugleichen.^[6]

Genau dieses Prinzip steckt auch in den K-Quants von GGUF: Sie komprimieren blockweise mit gemischter Präzision und geben wichtigen Blöcken mehr Bits. Naives, überall gleiches Runden (wie bei den alten _0-Verfahren) funktioniert dagegen schlechter – erst das gezielte Schützen der kritischen Werte macht 4-Bit-Modelle so brauchbar.

4. Wie groß wird die Datei? Die Faustformel

Die Modellgröße lässt sich grob ausrechnen:

Ein Wort zum Overhead: Die reine Modelldatei ist nur ein Teil des Speicherbedarfs. Beim Betrieb kommt weiterer Speicher hinzu – vor allem der KV-Cache (der laufende Gesprächsverlauf, dazu weiter unten mehr), Zwischenergebnisse der Berechnung sowie der Speicher, den das Ausführungs-Programm selbst braucht. In der Praxis liegt der tatsächliche Bedarf im Betrieb daher oft 10–20 % über der reinen Dateigröße. Man sollte also nie das letzte GB verplanen. Für ein Modell mit 7 Milliarden Parametern ergibt die Formel je nach Quantisierung:

5. GGUF und die Quantisierungsstufen (Q2_K … Q8_0)

GGUF („GPT-Generated Unified Format") ist das heute verbreitetste Dateiformat für lokal betriebene, quantisierte Modelle. Es stammt aus dem Open-Source-Projekt llama.cpp und packt ein komplettes Modell samt Metadaten in eine einzige Datei, die effizient auf CPU, GPU oder gemischt läuft. Sein Vorgänger hieß GGML – dieser Name taucht in älteren Anleitungen noch auf, ist aber überholt.

Die kryptischen Kürzel im Dateinamen folgen einem festen Schema. Am Beispiel Q4_K_M:

• Die Ziffer (2 bis 8) gibt die ungefähre Anzahl der Bits pro Gewicht an. Sie ist die wichtigste Kennzahl: Je kleiner die Zahl, desto kleiner und schneller das Modell – aber auch desto gröber die Rundung. Q4 nutzt also rund 4 Bit, Q8 rund 8 Bit pro Wert.
• _K steht für K-Quants. Das ist die moderne, bessere Quantisierungsmethode: Sie zerlegt das Modell in viele kleine Blöcke (englisch „blocks") und quantisiert jeden Block einzeln – wichtige Blöcke bekommen etwas mehr Präzision, unwichtige weniger. Genau das erhält die Qualität. Fehlt das _K und steht stattdessen _0 oder _1 im Namen (z. B. Q4_0), handelt es sich um die einfacheren, älteren Legacy-Verfahren, die überall gleich grob runden – heute nur noch selten die beste Wahl.
• _S / _M / _L stehen für Small, Medium und Large. Innerhalb derselben Bit-Zahl gibt es also noch feinere Abstufungen: Q4_K_M ist etwas größer und minimal besser als Q4_K_S, aber kleiner als Q5_K_M. In der Praxis ist Q4_K_M der Standard, weil es das beste Verhältnis aus Größe und Qualität trifft.
• IQ-Varianten (z. B. IQ3_XXS) sind eine besonders sparsame Familie. Sie nutzen eine importance matrix („imatrix") – eine Art Kalibrierung: Anhand von Beispieltexten wird gemessen, welche Werte im Modell für typische Eingaben besonders wichtig sind, und diese bekommen mehr Bits. So bleibt selbst bei sehr niedrigen Bit-Zahlen (2–3 Bit) überraschend viel Qualität erhalten – nützlich, wenn der Speicher extrem knapp ist.

6. Wie wird quantisiert? PTQ, QAT und imatrix

Es gibt zwei grundsätzliche Wege:

• Post-Training-Quantisierung (PTQ) – das fertige Modell wird nachträglich komprimiert. Schnell, günstig, ohne erneutes Training. Das ist der Normalfall (und was GGUF-Dateien enthalten).
• Quantization-Aware Training (QAT) – das Modell wird bereits während des Trainings auf die spätere niedrige Präzision vorbereitet. Aufwändiger, kann aber bei sehr niedrigen Bit-Zahlen bessere Qualität liefern.

Die erwähnte importance matrix (imatrix) ist eine Verfeinerung der PTQ: Anhand eines kleinen Kalibrier-Datensatzes wird gemessen, welche Gewichte für typische Eingaben besonders wichtig sind – diese bekommen mehr Bits, der Rest weniger. So erreicht man bei gleicher Dateigröße spürbar bessere Ergebnisse.

7. Die anderen Ökosysteme: GPTQ, AWQ, bitsandbytes, EXL2

GGUF ist im lokalen Bereich am verbreitetsten, aber nicht das einzige Verfahren. Je nach Werkzeug und Hardware begegnen Ihnen weitere Namen:

Für den typischen Mittelstands-Anwendungsfall – ein Modell auf dem eigenen Server oder Rechner – ist GGUF die pragmatische Wahl, weil es überall läuft und Werkzeuge wie Ollama die Details übernehmen.

8. Qualität messen: Perplexity und der Sweet Spot

Wie stark verschlechtert Quantisierung ein Modell? Ein gängiges Maß ist die Perplexity („Ratlosigkeit"): Sie misst, wie sehr ein Modell von einem Text „überrascht" ist. Niedriger ist besser. Quantisierung erhöht die Perplexity leicht – bei guten Stufen (ab Q4_K_M) aber nur minimal. Erst bei sehr niedrigen Bit-Zahlen (Q2/Q3) steigt sie deutlich, das Modell macht mehr Fehler.

Trägt man Qualität gegen Größe auf, zeigt sich eine typische Kurve mit klarem „Sweet Spot":

9. Nicht vergessen: Der KV-Cache

Neben den Gewichten braucht ein laufendes Modell noch den KV-Cache. „KV" steht für Key und Value – zwei Zwischenwerte, die das Modell für jedes bereits verarbeitete Wort (Token) berechnet. Sie sind Teil des sogenannten Attention-Mechanismus und helfen dem Modell zu „verstehen", worauf sich spätere Wörter beziehen.

Wozu ein Cache? Ein Sprachmodell erzeugt Text Wort für Wort. Ohne Zwischenspeicher müsste es bei jedem neuen Wort den kompletten bisherigen Text noch einmal komplett durchrechnen – das wäre extrem langsam. Stattdessen speichert es die einmal berechneten Key- und Value-Werte aller vorherigen Tokens im KV-Cache und greift beim nächsten Wort einfach darauf zurück. Genau das macht die Textausgabe erst flüssig und schnell.

Der Haken: Der KV-Cache wächst mit der Länge des Gesprächs bzw. des verarbeiteten Dokuments – je mehr Kontext, desto mehr Speicher. Bei sehr langen Eingaben kann er am Ende sogar mehr Arbeitsspeicher belegen als das Modell selbst. Die gute Nachricht: Auch der KV-Cache lässt sich quantisieren (z. B. von 16 auf 8 Bit) und spart so noch einmal spürbar Speicher, bei minimalem Qualitätsverlust. Deshalb taucht diese Einstellung in Werkzeugen wie Ollama als Option auf.

10. Welche Stufe soll ich nehmen?

• Standard: Q4_K_M – der beste Kompromiss für die meisten. Läuft, passt, gute Qualität.
• Mehr Qualität, genug Speicher: Q5_K_M oder Q6_K.
• Höchste Genauigkeit (z. B. Coding, sensible Aufgaben): Q8_0.
• Sehr knapper Speicher: Q3_K_M – mit Abstrichen; Q2_K nur als Notlösung.
• Faustregel Hardware: Die Modelldatei sollte bequem in den verfügbaren VRAM/RAM passen – plus ~10–20 % Reserve für KV-Cache und Overhead.

Und der beruhigende Teil: Werkzeuge wie Ollama liefern Modelle bereits fertig quantisiert (meist Q4_K_M) aus. Für die meisten heißt Quantisierung in der Praxis also nur: das richtige Modell auswählen – nicht selbst rechnen.

Glossar

Bit / bpw

Kleinste Informationseinheit (0/1). „bpw" = bits per weight, also Bits pro Gewicht.

Parameter

Die gelernten Zahlenwerte eines Modells (Milliarden davon).

FP32 / FP16 / BF16

Fließkomma-Formate mit 32 bzw. 16 Bit. BF16 hat größeren Zahlenbereich, weniger Präzision.

INT8 / INT4

Ganzzahl-Formate mit 8 bzw. 4 Bit – Ziele der Quantisierung.

GGUF / GGML

Dateiformat für lokale, quantisierte Modelle (llama.cpp/Ollama). GGML ist der veraltete Vorgänger.

K-Quant

Modernes Quantisierungsverfahren, das das Modell blockweise mit gemischter Präzision komprimiert (das _K in Q4_K_M).

imatrix (importance matrix)

Kalibrierung, die wichtige Gewichte mehr Präzision gibt – bessere Qualität bei gleicher Größe.

PTQ / QAT

Post-Training-Quantisierung (nachträglich) bzw. Quantization-Aware Training (schon beim Training berücksichtigt).

GPTQ / AWQ / EXL2 / bitsandbytes

Alternative Quantisierungs-Ökosysteme, überwiegend für GPU-Betrieb bzw. Fine-Tuning.

Perplexity

Maß für die „Ratlosigkeit" eines Modells – niedriger ist besser; steigt mit stärkerer Quantisierung.

KV-Cache

Zwischenspeicher für den Gesprächsverlauf; wächst mit der Kontextlänge und ist ebenfalls quantisierbar.