Hardware für lokale LLMs: RAM, Modelle und Quantisierung
Ein nüchterner Leitfaden zur Dimensionierung lokaler Hardware für Modelle der Klassen 8B, 14B, 32B und 70B.
Die Modellgröße entscheidet, ob ein Workload passt; Speicherbandbreite und Beschleunigung bestimmen weitgehend, ob er sich nützlich anfühlt.
- 01Die Parameterzahl allein ist keine Geschwindigkeitsprognose.
- 02Lassen Sie Speicherreserve für Kontext, Runtime, Retrieval und Betriebssystem.
- 03Quantisierung tauscht Speicher und Tempo gegen Modellqualität; testen Sie den realen Workload.
Gewichte sind nur der Anfang des Speicherbudgets.
Eine grobe Vier-Bit-Schätzung liegt vor Format-Overhead bei etwa einem halben Byte pro Parameter. Ein Modell mit 8 Milliarden Parametern beginnt somit bei rund 4 GB Gewichten, eines mit 70 Milliarden bei rund 35 GB. Reale Deployments brauchen zusätzlich Speicher für Metadaten, Runtime-Puffer, Kontext-Cache, Retrieval-Dienste und Betriebssystem.
Die Kontextlänge zählt, weil der Key-Value-Cache mit Gesprächen und Quellen wächst. Ein zunächst bequem passendes Modell kann bei großen Dateimengen oder überdimensioniertem Kontext dennoch den Speicher erschöpfen.
| Modellklasse | Praktischer Systemspeicher | Typische Rolle |
|---|---|---|
| 7B–9B, 4-Bit | 8–16 GB | Leichte Entwürfe, Extraktion und kompakte Assistenten. |
| 12B–14B, 4-Bit | 16–24 GB | Ausgewogene Büroarbeit und mehrsprachige Dokumentaufgaben. |
| 27B–32B, 4-Bit | 32–48 GB | Stärkere Entwürfe, Coding und komplexe Retrieval-Synthese. |
| 70B–72B, 4-Bit | 64 GB oder mehr | Höhere lokale Analysequalität bei akzeptabler Latenz. |
Vier Bit ist eine Familie von Entscheidungen, keine einzelne Einstellung.
Quantisierung speichert Modellgewichte mit geringerer Präzision. Das reduziert Speicherbedarf und macht lokale Inferenz oft erst praktikabel. Verschiedene Verfahren erhalten Qualität jedoch unterschiedlich. Die Angabe „4-Bit“ benennt weder Quantisierer noch Kalibrierung oder Runtime-Format.
Bei Dokumentarbeit zählt nicht, ob ein komprimiertes Modell einen allgemeinen Benchmark besteht. Entscheidend ist, ob es Namen, Zahlen, Zitate, Anweisungen und deutsche Sprachdetails in repräsentativen Dateien bewahrt.
- —Exakte Modellrevision und Quantisierungsdatei im Übergabeprotokoll festhalten.
- —Mit der vorgesehenen Kontextlänge testen, nicht nur mit einem kurzen Prompt.
- —Qualität nach jedem Modell- oder Runtime-Update erneut prüfen.
Tokens pro Sekunde brauchen Kontext.
Prompt-Verarbeitung und Antwortgenerierung sind verschiedene Phasen. Ein System kann ein langes Dokument langsam einlesen, aber schnell antworten – oder umgekehrt. Veröffentlichte Werte sollten daher Prompt-Tempo, Generierungstempo, Zeit bis zum ersten Token und verwendete Kontextlänge trennen.
Die Zahl der CPU-Kerne ist allein ein schwacher Prädiktor. Speicherbandbreite, Befehlssatz, GPU- oder integrierte Beschleunigung, thermische Grenzen und Runtime-Implementierung sind oft wichtiger. Dieselbe Modelldatei kann sich auf Appliances mit nominell gleichem RAM sehr unterschiedlich verhalten.
Dimensionieren Sie für das tägliche Modell, nicht für das größte startbare.
Ein System ist nützlich, wenn es ausreichend Reserve für Modell, vorgesehenen Kontext und begleitende Dienste hat – ohne Swapping oder ständige Eingriffe. Ein größeres Modell mit unbrauchbarer Latenz ist kein Upgrade.
SelbsAI behandelt die Modellklasse deshalb als Appliance-Größenentscheidung. Das gewählte Core- oder Pro-System bestimmt den erreichbaren Leistungsrahmen.
Quellen und Methode
Für diesen Artikel herangezogene Primär- und technische Quellen. Abrufdaten sind dokumentiert, da sich Modelldokumentation und Leitlinien ändern.
- 01llama.cpp repository and runtime documentationggerganov / GitHub · accessed 2026-08-09
- 02GGUF specificationggml-org / GitHub · accessed 2026-08-09
- 03Transformers quantization overviewHugging Face · accessed 2026-08-09
ALB Digital Dienstleistungen