Jede Diskussion über lokale KI beginnt mit dem Prozessor. Welche CPU, welche GPU, wie viele TOPS? Dann wird das Modell geladen, die Maschine beginnt, Daten auf die Festplatte auszulagern, und die eigentliche Einschränkung wird deutlich: Es war von Anfang an der Arbeitsspeicher.
Die lokale Ausführung eines Modells ist in erster Linie ein Speicherproblem. Wenn die Gewichte und der Kontextcache nicht in den Arbeitsspeicher passen, führt der Rechner das Modell nicht direkt aus, sondern verwendet eine deutlich langsamere Approximation, die auf eine SSD ausgelagert wird.
Hier also die Berechnungen für die drei Modellgrößen, nach denen die Leute tatsächlich fragen – 7B, 14B und 32B – und eine ehrliche Antwort darauf, welche davon ein Mini-PC bewältigen kann.
Wichtigste Erkenntnisse
- A Das 7B/8B-Modell benötigt im vierten Quartal etwa 10 GB. Insgesamt, wenn Windows und Kontext mitgerechnet werden: 12 GB funktionieren, 16 GB sind komfortabel.
- A Das Modell 14B benötigt etwa 15 GB. Ein 24-GB-Mini-PC passt bequem hinein, ein 16-GB-Modell gerade so.
- A Das Modell 32B benötigt etwa 27 GB. Kein Strom BMAX Der Mini-PC kann es problemlos ausführen, da der Arbeitsspeicher auf maximal 24 GB fest verlötet ist.
- Q4_K_M ist der optimale Punkt: Im Vergleich zum achten Quartal ist das Ergebnis etwa 40 % kleiner, allerdings mit einem geringen Qualitätsverlust. Unterhalb des vierten Quartals wird der Verlust deutlich.
- Strom ist nicht der limitierende Faktor: Eine KI-Box, die ständig eingeschaltet ist, kostet etwa 19–26 US-Dollar pro Jahr zu US-Preisen.
In diesem Leitfaden
Die Gedächtnismathematik
Drei Zahlen entscheiden darüber, ob ein Modell funktioniert:
- Gewichte. Die Modelldatei selbst. Im vierten Quartal betrug sie etwa 0,65 GB pro Milliarde Parameter – ungefähr 4,8 GB für ein 7-Bit-Modell, 9 GB für 14 Bit und 20 GB für 32 Bit.
- Kontext-Cache. Der Arbeitsspeicher für die Konversation. Er wächst mit der Kontextlänge; 1–4 GB sind typisch für 8.000–32.000 Tokens.
- Das Betriebssystem. Windows benötigt etwa 4 GB, bevor KI-Software gestartet wird. Eine minimale Linux-Installation benötigt 1–2 GB.
Rechnet man die einzelnen Größen zusammen, ergibt sich ein deutlich weniger vorteilhaftes Bild, als die Downloadgröße des Modells vermuten lässt:
| Modell | Gewichtung des 4. Quartals | + Betriebssystem & Kontext | Realistisches Minimum | BMAX Option |
|---|---|---|---|---|
| 3B | 1,9 GB | ~7 GB | 8 GB | B3 Turbo |
| 7B/8B | 4,8 GB | ~10 GB | 12 GB knapp, 16 GB komfortabel | B7A Plus /B11 Pro |
| 14B | 9,0 GB | ca. 15 GB | 16 GB knapp, 24 GB komfortabel | B12 Power |
| 32B | 19.9 GB | ~27 GB | 32 GB | Keine – fest verlötet bei 24 GB |
| 70B | 40 GB | ~48 GB | 64 GB | Keiner |
Die Gewichte entsprechen typischen Q4_K_M GGUF-Größen. Der Overhead basiert auf Windows plus einem 8k–32k Kontext. Die einzelnen Modelle variieren je nach Architektur, Schichtanzahl und Kontexteinstellungen.
Was passt in welche Maschine?
8 GB (B3 Turbo) — 3B-Modelle. Kleine Assistenten, Zusammenfassungsfunktionen, Übersetzungsfunktionen. Ein 7B-Modell lädt zwar im vierten Quartal, lässt aber kaum Ressourcen für Windows übrig, sodass es zu Auslagerungen und erheblichen Verzögerungen kommt. Verwenden Sie diese Ebene für spezielle Aufgaben, nicht für ein allgemeines Chat-Modell.
12 GB (B7A Plus) — 7B im vierten Viertel, knapp. Dies ist der Einstiegspunkt für ein allgemein anwendbares Modell. Sie können davon ausgehen, dass Sie den Browser während der Ausführung schließen müssen und der Kontext kurz gehalten werden sollte.
16 GB (B11 Pro) — 7B/8B bequem. Die sinnvolle Speicherstufe für ein einzelnes lokales Modell, das neben der normalen Arbeit verwendet wird. Ein 14-Byte-Modell wird in Q4 geladen, aber Sie befinden sich innerhalb von 1–2 GB der Obergrenze, was zu Rucklern und langsamen ersten Token führen kann.
24 GB (B12 Power) — 14B bequem. Das ist der optimale Bereich für lokale KI in einem Mini-PC. Ein 14-Bit-Modell aus dem vierten Quartal plus 16.000 Kontextressourcen bietet noch genügend Platz, und Sie können trotzdem noch einen Browser geöffnet lassen.
Die ehrliche Begrenzung: Auf einem System mit 24 GB RAM läuft ein 32-Byte-Modell nicht flüssig. Allein die Speicherbelegung beträgt etwa 20 GB, sodass nur 4 GB für Windows, den Kontextcache und alle anderen Komponenten übrig bleiben – zu wenig. Zwar lassen sich durch Auslagern auf die Festplatte möglicherweise einige Token pro Sekunde laden und erzeugen, dies ist jedoch nur eine Demonstration, kein produktiver Arbeitsablauf.
Quantisierung
Durch die Quantisierung passt ein 14-Bit-Modell in 9 GB statt 28 GB. Dabei wird die Genauigkeit der Gewichtungen reduziert – von 16 Bit auf etwa 4 Bit – und der Qualitätsverlust ist geringer als die Zahl vermuten lässt, bis er es nicht mehr ist.
- Q8_0 (15 GB) — nahezu verlustfrei, aber der Speicherbedarf verdoppelt sich für einen Qualitätsunterschied, den die meisten Menschen bei der Textausgabe nicht hören können.
- Q6_K/Q5_K_M (10,5–11,5 GB) — ein guter Kompromiss, wenn man den nötigen Spielraum hat und Wert auf Code oder längere Texte legt.
- Q4_K_M (9 GB) — aus gutem Grund der Standardwert. Etwa 40 % kleiner als im achten Quartal mit einem geringen, üblicherweise akzeptablen Verlust.
- Q3 und darunter – Deutliche Verschlechterung: Wiederholungen, fehlerhafte Argumentation, mangelhafte Befolgung von Anweisungen. Lohnt sich nur, um ein Modell auf einer Maschine auszuführen, die es sonst nicht ausführen kann.
Und was ist mit der NPU?
Jeder Kern Ultra Der Mini-PC wirbt mit einer NPU- und einer TOPS-Zahl. Es lohnt sich zu verstehen, was diese Zahl für die lokale KI aussagt und was nicht.
Die NPU ist ein stromsparender Beschleuniger, der für dauerhafte, permanente Arbeitslasten konzipiert ist: Hintergrundunschärfe, Sprachisolierung, einige Foto- und Videoeffekte. Für diese Aufgaben ist sie effizient. Was sie im Jahr 2026 jedoch nicht mehr sein wird, ist der Hauptweg für die Ausführung eines Sprachmodells.
- Die meisten lokalen LLM-Softwarelösungen nutzen die NPU nicht. Ollama, LM Studio und llama.cpp Die Ausführung erfolgt auf der CPU und, sofern verfügbar, auf der GPU. NPU-Backends sind zwar vorhanden, aber eingeschränkt und modellspezifisch.
- TOPS prognostiziert keine Token pro Sekunde. Die Inferenz von Sprachmodellen wird weitaus stärker durch die Speicherbandbreite und -kapazität begrenzt als durch den maximalen Durchsatz des Beschleunigers.
- Die NPU ist immer noch wichtig. Für Videoanrufe sind sie ideal, und deshalb reagieren diese Chips im Alltag auch so gut – nur eben nicht für den eigentlichen Zweck, für den die Leute sie kaufen.
Wenn in einem Datenblatt „KI-PC, 40 TOPS“ steht, bedeutet das wörtlich: Dieser Rechner verfügt über einen Beschleuniger für Hintergrundprozesse und kann ein Sprachmodell ausführen, sofern genügend Arbeitsspeicher vorhanden ist. Der Arbeitsspeicher ist der entscheidende Faktor.
Geschwindigkeitserwartungen
Wir werden keine Token pro Sekunde angeben, da diese je nach Modell, Quantisierung, Kontextlänge und Treiberversion variiert. Folgendes ist konstant:
- 7B–8B auf integrierter Grafik Fühlt sich interaktiv an – schnell genug für Chat, Entwurf und Zusammenfassung, aber nicht sofort.
- 14B ist ungefähr halb so schnell von 7B auf derselben Hardware, weil doppelt so viele Daten übertragen werden müssen.
- Die Speicherbandbreite ist wichtiger als TOPS. Ein Modell, das in den Arbeitsspeicher passt, läuft selbst auf einer bescheidenen integrierten Grafikkarte mit einer brauchbaren Geschwindigkeit; ein Modell, das auf die Festplatte auslagert, läuft unabhängig von der Geschwindigkeit des Chips nur mit einem Bruchteil dieser Geschwindigkeit.
- Ein langer Kontext verlangsamt alles., weil der Cache mit jedem Token wächst und der Aufwand für die Aufmerksamkeit zunimmt.
Wenn Geschwindigkeit Priorität hat, ist ein kleineres Modell die bessere Wahl, nicht ein größerer Computer. Ein 7-Bit-Modell aus dem vierten Quartal, das gut in der Hand liegt, fühlt sich angenehmer an als ein 14-Bit-Modell, das ständig an die Speichergrenze stößt.
Power und Hitze
Ein KI-System bleibt üblicherweise eingeschaltet, damit es bei Bedarf sofort einsatzbereit ist. Im Leerlauf verbraucht ein Mini-PC etwa 12 Watt – das entspricht ungefähr 19 US-Dollar pro Jahr. Zwei Stunden Inferenz pro Tag verbrauchen durchschnittlich 17 Watt oder 26 US-Dollar pro Jahr. Selbst bei kontinuierlichem Betrieb der Inferenz belaufen sich die Kosten auf etwa 122 US-Dollar.
Vergleichen wir das mit der Hardware: Der Unterschied zwischen einem 16-GB- und einem 24-GB-Modell beträgt 290 US-Dollar. Der Stromverbrauch ist nicht der ausschlaggebende Faktor für die Wahl zwischen den beiden Modellen – der Arbeitsspeicher schon. Dieses Muster haben wir in unserem Test der gesamten Produktpalette festgestellt. Stromverbrauchstest.
Die Wärmeentwicklung ist das entscheidende praktische Problem. Dauerhafte Inferenz bedeutet eine dauerhafte Auslastung aller Kerne, und ein kompaktes Gehäuse lässt den Lüfter auf Touren kommen. Steht das Gerät auf dem Schreibtisch, ist ein 15-Watt-Chip deutlich angenehmer zu handhaben als ein 45-Watt-Chip – weshalb der B11 Pro ist trotz des geringeren Speichers eine brauchbare KI-Box.
Software-Einrichtung
Sie benötigen kein Framework, um loszulegen. Drei Tools decken den Großteil ab:
- Ollama — Kommandozeile, ein Befehl pro Modell, automatische Quantisierung. Der schnellste Weg, um die Modellanpassung zu testen.
- LM Studio — Eine Desktop-Anwendung mit integriertem Browser und Chat-Oberfläche. Ideal für Windows-Nutzer, die die Speichernutzung in Echtzeit verfolgen möchten.
- llama.cpp — die zugrundeliegende Engine. Lohnt sich direkt zu verwenden, wenn Sie die Kontextgröße und die GPU-Offload-Layer optimieren möchten.
Zwei Einstellungen sind wichtiger als das Werkzeug:
- Kontextgröße. Durch die Reduzierung von 32k auf 8k können 2–3 GB Speicherplatz frei werden, was oft den Unterschied ausmacht, ob ein 14B-Modell passt oder nicht.
- GPU-Offload-Layer. Die Verlagerung einiger Ebenen auf die integrierte GPU (iGPU) entlastet den Arbeitsspeicher (RAM) und beschleunigt die Generierung. Mehr Ebenen sind jedoch nicht immer besser – der VRAM wird bei diesen Geräten mit dem Systemspeicher geteilt.
Wenn Sie mit Linux vertraut sind, verwenden Sie es. Eine Minimalinstallation bietet 2–3 GB mehr Speicherplatz als Windows, das in manchen Fällen einer kompletten Modellstufe entspricht.Unser Leitfaden zu Wie lange hält ein Mini-PC? Gilt auch: Dauerhaftes Inferenzverhalten ist die Arbeitsbelastung, die einen Ventilator am schnellsten altern lässt.
Welche BMAX passt
| Was Sie ausführen möchten | Wählen | Warum |
|---|---|---|
| Kleine 3B-Assistenten, Zusammenfassung, Übersetzung | B3 Turbo — 8 GB, 219,99 $ | Für kompakte Modelle ist es ausreichend und die günstigste Möglichkeit zum Experimentieren. |
| 7B/8B-Chatmodelle neben der normalen Arbeit | B11 Pro — 16 GB, 459,99 $ | 16 GB lassen noch genügend Spielraum für Windows und eine 8k-Umgebung. |
| 14B-Modelle, längerer Kontext, Multitasking | B12 Power — 24 GB, 749,99 $ | Die einzige Stufe, die 14B problemlos ausführt; 16 Kerne tragen zu einer schnellen Verarbeitung bei. |
| 32B und höher | Kein Mini-PC | Sie benötigen 32–64 GB erweiterbaren Speicher, was einen anderen Formfaktor erfordert. |
Ein wichtiger Hinweis für alle Modelle: Der Arbeitsspeicher ist fest verlötet. Eine spätere Aufrüstung ist nicht möglich, die Entscheidung ist also endgültig. Wenn Sie sich zwischen 16 GB und 24 GB nicht sicher sind und lokale KI-Anwendungen geplant sind, ist das Gerät mit 24 GB die bessere Wahl – es wird auch in drei Jahren noch brauchbar sein.
Häufig gestellte Fragen
Kann ein Mini-PC lokale KI ausführen?
Ja, bis zu etwa 14 Byte Parameter bei Q4-Quantisierung auf einem 24-GB-Modell. 7- und 8-Byte-Modelle laufen problemlos mit 16 GB. Alles ab 32 Byte benötigt mehr Speicher, als ein kompakter Mini-PC bietet.
Wie viel RAM benötige ich für ein 7B-Modell?
Mit Windows und Kontext benötigt man insgesamt etwa 10 GB, daher sind 12 GB das Minimum und 16 GB komfortabel. Bei einer minimalen Linux-Installation reichen 8 GB für ein 7B-Modell bei geringer Auslastung aus.
Kann ein 32B-Modell auf einem 24-GB-Mini-PC laufen?
Nicht optimal. Ein 32-Byte-Modell im vierten Quartal belegt etwa 20 GB an Daten, was zu wenig Speicherplatz für Windows und den Kontextcache lässt. Es kann zwar durch Auslagern auf die Festplatte geladen werden, aber die Geschwindigkeit ist für produktives Arbeiten unpraktisch.
Benötige ich eine GPU für lokale KI?
Keine dedizierte Grafikkarte. Integrierte Grafikeinheiten entlasten zwar einige Ebenen, aber die Speicherkapazität ist wichtiger als die Grafikleistung. Ein Modell, das in den Arbeitsspeicher passt, läuft mit einer integrierten Grafikeinheit (iGPU) brauchbar.
Welche Geschwindigkeit kann ich erwarten?
Interaktiv bei 7- und 8-Bit-Modellen, deutlich langsamer bei 14-Bit-Modellen und unpraktisch für Anwendungen, die auf die Festplatte auslagern. Die Speicherbandbreite ist der limitierende Faktor, nicht die maximale Rechenleistung.
Ist die Q4-Quantisierung ausreichend?
Für Chat, Zusammenfassungen und Entwürfe ist der Qualitätsunterschied zu Q8 gering. Für Codegenerierung oder präzise Argumentation lohnt sich der zusätzliche Speicherplatz von Q5 oder Q6, sofern dieser verfügbar ist.
Windows oder Linux für lokale KI?
Linux, falls Sie damit vertraut sind. Eine Minimalinstallation benötigt 1–2 GB statt etwa 4 GB, wodurch in manchen Konfigurationen genügend Speicherplatz für ein höherwertiges Modell frei wird.
Welche BMAX Ein Mini-PC eignet sich am besten für lokale KI?
Das B12 Power mit 24 GB für 14B-Modelle. Das B11 Pro Die 16-GB-Variante bietet das bessere Preis-Leistungs-Verhältnis für die Modelle 7B und 8B, die im täglichen Arbeitseinsatz verwendet werden. Turbo ist ausreichend für 3B-Modelle und Experimente.
Fazit
Lokale KI auf einem Mini-PC ist keine Utopie, aber sie hat ihre Grenzen – und diese Grenzen sind der Arbeitsspeicher. Mit 24 GB läuft ein 14-Bit-Modell flüssig. Mit 16 GB lassen sich 7- oder 8-Bit-Modelle problemlos betreiben.Bei 8 GB laufen kleine, aufgabenspezifische Modelle, kein allgemeiner Assistent.
Kaufen Sie jetzt den benötigten Arbeitsspeicher, denn er ist fest verlötet und permanent. Wählen Sie dann das leiseste Gerät in dieser Preisklasse – Sie sitzen ja daneben, während es rechnet.
24 GB, 16 Kerne, 14B-Modelle. Der BMAX B12 Power ist die einzige Stufe im Sortiment, die im vierten Quartal ein 14B-Modell mit ausreichendem Kontext bietet.
Quellen
- Modellgewichtsgrößen: Typische Q4_K_M GGUF-Dateigrößen für 3B–70B-Parametermodelle (z. B. Qwen2.5- und Llama 3.1-Familien). Die Werte sind Näherungswerte und variieren je nach Modellarchitektur.
- Overhead: 4 GB für Windows 11, 1–2 GB für eine minimale Linux-Installation, plus 1–4 GB KV-Cache bei 8k–32k Kontext.
- Power und Kosten: 12,4 W Leerlauf aus veröffentlichtem B12 Power Messungen; 17 W und 80 W wurden für gemischte und kontinuierliche Inferenz modelliert; Strom zu 17,45 ¢/kWh, EIA Electric Power Monatlich, Januar 2026.
- Speicherkonfigurationen und Preise: bmaxbuy.com Produktseiten für B3 Turbo, B7A Plus, B11 Pro und B12 PowerOktober 2026.
Die Speicherangaben sind Planungsschätzungen, keine Benchmarks. Der tatsächliche Bedarf variiert je nach Modellarchitektur, Quantisierung, Kontextlänge und Software-Stack. BMAX Die in diesem Leitfaden beschriebenen Mini-PCs verwenden fest verlöteten Speicher.


