Vai al contenuto
🖤 BLACK FRIDAY: fino al 63% di sconto! (Spendi più di 300 $ e risparmia fino a 25 $) ⏰ Termina il 30 novembre: 00D 00H 00M 00S
BMAX mini PC running a local AI model with 24GB of memory
Messaggio precedente Articolo successivo

Può un Mini PC Eseguire l'IA locale? Quanta RAM è necessaria per i modelli da 7B, 14B e 32B?

Ogni conversazione locale sull'IA inizia dal processore. Quale CPU, quale GPU, quanti TOPS. Poi il modello viene caricato, la macchina inizia a utilizzare il disco per lo swapping e il vero limite diventa evidente: era la memoria, fin dall'inizio.

L'esecuzione di un modello in locale rappresenta un problema di memoria prima ancora che di potenza di calcolo. Se i pesi e la cache di contesto non trovano spazio nella RAM, il sistema non esegue il modello, ma ne esegue un'approssimazione molto più lenta, trasferendo i dati su un'unità SSD.

Ecco quindi i calcoli per i tre modelli di memoria più richiesti: 7B, 14B e 32B, e una risposta sincera su quale di questi un mini PC sia effettivamente in grado di gestire.

Punti chiave

  • UN Il modello 7B/8B nel quarto trimestre richiede circa 10 GB In totale, considerando Windows e il contesto, 12 GB sono sufficienti, 16 GB sono l'ideale.
  • UN Il modello 14B richiede circa 15 GB. Ci sta comodamente un mini PC da 24 GB e a malapena uno da 16 GB.
  • UN Il modello 32B richiede circa 27 GB. Nessuna corrente BMAX Il mini PC può eseguirlo correttamente, poiché la memoria è saldata con un massimo di 24 GB.
  • Q4_K_M è il punto ottimale: Circa il 40% più piccolo di Q8 con una lieve perdita di qualità. Al di sotto di Q4, la perdita diventa evidente.
  • L'elettricità non è il limite: un box AI sempre attivo costa circa Da 19 a 26 dollari all'anno alle tariffe statunitensi.

La matematica della memoria

Bar chart showing memory required by 3B, 7B, 14B, 32B and 70B local AI models, with 16GB and 24GB capacity lines
Pesi del modello più l'overhead che la gente dimentica: Windows e la cache di contesto. Le linee tratteggiate rappresentano i due livelli di memoria. BMAX vende.

Tre numeri determinano se un modello funziona:

  1. Pesi. Il file del modello stesso. Nel quarto trimestre, circa 0,65 GB per miliardo di parametri: circa 4,8 GB per un modello a 7 miliardi, 9 GB per uno a 14 miliardi e 20 GB per uno a 32 miliardi.
  2. Cache di contesto. La memoria di lavoro per la conversazione. Aumenta con la lunghezza del contesto; in genere 1-4 GB sono necessari per 8.000-32.000 token.
  3. Il sistema operativo. Windows richiede circa 4 GB prima dell'avvio di qualsiasi software di intelligenza artificiale. Un'installazione minima di Linux richiede 1-2 GB.

Sommando il tutto, l'immagine risulta molto meno generosa di quanto suggeriscano le dimensioni di download del modello:

Modello pesi Q4 + OS & contesto Minimo realistico BMAX opzione
3B 1,9 GB ~7 GB 8 GB B3 Turbo
7B/8B 4,8 GB ~10 GB 12 GB stretti, 16 GB comodi B7A Plus /B11 Pro
14B 9,0 GB ~15 GB 16 GB stretti, 24 GB comodi B12 Power
32B 19.9 GB ~27 GB 32 GB Nessuno — saldato a 24 GB
70B 40 GB ~48 GB 64 GB Nessuno

I pesi corrispondono alle dimensioni tipiche di Q4_K_M GGUF. L'overhead presuppone Windows più un contesto 8k–32k. I singoli modelli variano in base all'architettura, al numero di layer e alle impostazioni del contesto.

Cosa si adatta a quale macchina

8 GB (B3 Turbo) — Modelli 3B. Piccoli assistenti, riassuntori, traduttori. Un modello 7B si caricherà in Q4 ma non lascerà quasi nulla per Windows, quindi si bloccherà e rallenterà. Utilizzate questo livello per attività specifiche, non per un modello di chat generico.

12 GB (B7A Plus) — 7B al Q4, stretto. Questo è il punto di partenza per un modello generale utilizzabile. Preparatevi a chiudere il browser durante l'esecuzione e mantenete il contesto breve.

16 GB (B11 Pro) — 7B/8B comodo. Il livello ideale per un singolo modello locale utilizzato insieme al normale lavoro. Un modello da 14 bit si caricherà in Q4, ma sei entro 1-2 GB dal limite massimo, ed è da lì che derivano i rallentamenti e i primi token lenti.

24 GB (B12 Power) — 14B comodo. Questa è la soluzione ideale per l'intelligenza artificiale locale in un mini PC. Un modello a 14 bit su Q4 più un contesto da 16k ci stanno comodamente, e si può comunque tenere aperto un browser.

Il limite onesto: Un computer con 24 GB di RAM non esegue bene un modello a 32 bit. I soli pesi occupano circa 20 GB, lasciando 4 GB per Windows, la cache di contesto e tutto il resto: non sono sufficienti. Potrebbe caricare e produrre qualche token al secondo salvando i dati su disco, ma si tratta di una dimostrazione, non di un flusso di lavoro reale.

Quantizzazione

Bar chart comparing file sizes of a 14B model at Q8, Q6, Q5, Q4, Q3 and Q2 quantization
Lo stesso modello 14B a sei livelli di quantizzazione. Q4_K_M è evidenziato perché è dove si colloca la maggior parte delle configurazioni locali.

La quantizzazione è il motivo per cui un modello a 14 bit può essere memorizzato in 9 GB anziché in 28 GB. Riduce la precisione dei pesi, da 16 bit a circa 4 bit, e il costo in termini di qualità è inferiore a quanto il numero suggerisca, almeno fino a quando non diventa più tale.

  • Q8_0 (15 GB) — quasi senza perdite, ma raddoppia il fabbisogno di memoria per una differenza di qualità che la maggior parte delle persone non riesce a percepire nell'output testuale.
  • Q6_K/Q5_K_M (10,5–11,5 GB) — un buon compromesso se hai margine di manovra e ti interessa il codice o la scrittura di testi lunghi.
  • Q4_K_M (9 GB) — è la scelta predefinita per un motivo. Circa il 40% più piccolo del Q8, con una perdita minima, solitamente accettabile.
  • Q3 e successivi — Degrado evidente: ripetizione, ragionamento fallace, scarsa aderenza alle istruzioni. Vale la pena solo per adattare un modello a una macchina che altrimenti non sarebbe in grado di eseguirlo.

E per quanto riguarda l'NPU?

Ogni nucleo Ultra Il mini PC pubblicizza un valore NPU e un valore TOPS. Vale la pena capire cosa significa e cosa non significa questo valore per l'intelligenza artificiale locale.

L'NPU è un acceleratore a basso consumo energetico progettato per carichi di lavoro continui e costanti: sfocatura dello sfondo, isolamento della voce, alcuni effetti fotografici e video. È efficiente in questi compiti. Ciò che non è, nel 2026, è il percorso principale per l'esecuzione di un modello linguistico.

  • La maggior parte dei software LLM locali non utilizza l'NPU. Ollama, LM Studio e llama.cpp Vengono eseguiti sulla CPU e, ove disponibile, sulla GPU. Esistono backend NPU, ma sono limitati e specifici per modello.
  • TOPS non prevede il numero di token al secondo. L'inferenza del modello linguistico è limitata dalla larghezza di banda e dalla capacità della memoria molto più che dalla velocità di elaborazione massima dell'acceleratore.
  • L'NPU è ancora importante per le videochiamate, ed è per questo che questi chip risultano reattivi nell'uso quotidiano, ma non per lo scopo per cui le persone li acquistano.

Quindi, quando una scheda tecnica dice "PC AI, 40 TOPS", la traduzione onesta è: questa macchina ha un acceleratore per le attività in background e può eseguire un modello linguistico se ha abbastanza RAM. La RAM è la parte da verificare.

Aspettative di velocità

Non forniremo un numero di token al secondo, poiché varia in base al modello, alla quantizzazione, alla lunghezza del contesto e alla versione del driver. Ciò che rimane costante è:

  • 7B–8B sulla grafica integrata Risulta interattivo: abbastanza veloce per chattare, scrivere bozze e riassumere, ma non istantaneo.
  • 14B è circa la metà della velocità di 7B sullo stesso hardware, perché c'è il doppio dei dati da trasferire.
  • La larghezza di banda della memoria è più importante del TOPS. Un modello che entra nella RAM funziona a una velocità utilizzabile anche su una GPU integrata di modesta potenza; un modello che scrive su disco funziona a una frazione di quella velocità, indipendentemente dalla potenza del chip.
  • Il contesto lungo rallenta tutto, perché la cache cresce e il lavoro di attenzione aumenta con ogni token.

Se la velocità è la priorità, la risposta è un modello più piccolo, non un computer più grande. Un modello a 7 bit nel quarto trimestre, che si adatti comodamente, risulterà più piacevole di un modello a 14 bit costantemente al limite della memoria disponibile.

Power e calore

Bar chart of electricity cost for an always-on local AI mini PC at idle, two hours a day and continuous inference
Il costo annuo dell'elettricità è di 17,45 ¢/kWh. Anche con un'inferenza continua, il costo si aggira intorno ai 122 dollari all'anno.

Un dispositivo per l'IA viene solitamente lasciato acceso in modo da essere pronto quando necessario. In modalità inattiva, un mini PC consuma circa 12 W, ovvero circa 19 dollari all'anno. Due ore di inferenza al giorno consumano in media 17 W, pari a 26 dollari all'anno. Anche eseguendo l'inferenza in modo continuativo, la spesa si aggira sui 122 dollari.

Confrontatelo con l'hardware: la differenza tra un modello da 16 GB e uno da 24 GB è di 290 dollari. L'elettricità non è il motivo per scegliere un livello piuttosto che un altro, lo è la memoria. Questo è lo stesso schema che abbiamo riscontrato in tutta la gamma nel nostro test di consumo energetico.

Il calore è la preoccupazione pratica. L'inferenza sostenuta comporta un carico costante su tutti i core e uno chassis compatto farà girare la sua ventola. Se la macchina si trova sulla tua scrivania, un chip da 15 W è molto più facile da gestire rispetto a uno da 45 W, motivo per cui il B11 Pro è un box AI valido nonostante la memoria ridotta.

Configurazione del software

Non serve un framework per iniziare. Tre strumenti sono sufficienti:

  • Ollama — riga di comando, un comando per modello, gestisce automaticamente la quantizzazione. Il modo più veloce per testare la corrispondenza.
  • LM Studio — un'applicazione desktop con un browser di modelli e un'interfaccia di chat. Ottima per gli utenti Windows che desiderano visualizzare l'utilizzo della memoria in tempo reale.
  • llama.cpp — il motore sottostante a entrambi. Vale la pena usarlo direttamente se si desidera ottimizzare le dimensioni del contesto e i livelli di offload della GPU.

Due impostazioni sono più importanti dello strumento:

  1. Dimensione del contesto. Ridurre la memoria da 32k a 8k può liberare 2-3 GB, che spesso rappresenta la differenza tra un modello 14B compatibile e uno non compatibile.
  2. Livelli di offload GPU. Spostare alcuni livelli sulla GPU integrata libera la RAM di sistema e velocizza la generazione. Tuttavia, un maggior numero di livelli non è sempre sinonimo di prestazioni migliori: su queste macchine, la VRAM è condivisa con la memoria di sistema.

Se hai familiarità con Linux, esegui il modello su quel sistema operativo. Un'installazione minima lascia 2-3 GB di spazio libero in più rispetto a Windows, che in alcuni casi corrisponde a un intero livello di modello.La nostra guida a quanto dura un mini PC Vale anche questo: l'inferenza sostenuta è il carico di lavoro che invecchia più rapidamente una ventola.

Quale BMAX abiti

Cosa vuoi correre Scegliere Perché
Piccoli assistenti 3B, riassunto, traduzione B3 Turbo — 8 GB, $219,99 Sufficiente per modelli compatti e il modo più economico per sperimentare.
Modelli di chat 7B/8B insieme al lavoro normale B11 Pro — 16 GB, $459,99 16 GB offrono un margine di sicurezza adeguato per Windows e per un contesto 8k.
Modelli 14B, contesto più ampio, multitasking B12 Power — 24 GB, $749,99 L'unico livello in grado di gestire comodamente 14 bit; i 16 core contribuiscono a un'elaborazione rapida.
32B e superiori Non è un mini PC È necessaria una memoria espandibile da 32 a 64 GB, il che implica un fattore di forma diverso.

Un'avvertenza importante per tutti i modelli: la memoria è saldata su tutti questi dispositivi. Non è possibile effettuare un upgrade in seguito, quindi la scelta è definitiva. Se siete indecisi tra 16 GB e 24 GB e avete intenzione di utilizzare l'intelligenza artificiale locale, il modello da 24 GB sarà quello che vi sarà ancora utile tra tre anni.

FAQ

Un mini PC può eseguire un'intelligenza artificiale locale?

Sì, fino a circa 14 miliardi di parametri con quantizzazione Q4 su un modello da 24 GB. I modelli da 7 e 8 miliardi funzionano senza problemi con 16 GB. Qualsiasi modello da 32 miliardi in su richiede più memoria di quella offerta da un mini PC compatto.

Di quanta RAM ho bisogno per un modello 7B?

Circa 10 GB in totale, considerando Windows e il contesto, quindi 12 GB sono il minimo e 16 GB sono l'ideale. Con un'installazione minima di Linux, 8 GB possono essere sufficienti per un modello 7B con un contesto breve.

Un mini PC da 24 GB può eseguire un modello a 32 bit?

Non correttamente. Un modello a 32 bit su Q4 ha circa 20 GB di pesi, troppo pochi per Windows e la cache di contesto. Potrebbe caricare tramite paging su disco, ma la velocità lo rende impraticabile per un lavoro reale.

Ho bisogno di una GPU per l'IA locale?

Non si tratta di una scheda grafica dedicata. La grafica integrata aiuta alleggerendo il carico di lavoro di alcuni livelli, ma la capacità di memoria è più importante della potenza grafica. Un modello che entra nella RAM funziona in modo utilizzabile su una GPU integrata.

Che velocità devo aspettarmi?

Interattivo per i modelli da 7B a 8B, sensibilmente più lento per quelli da 14B e impraticabile per qualsiasi operazione che scriva su disco. Il fattore limitante è la larghezza di banda della memoria, non la potenza di calcolo massima.

La quantizzazione Q4 è sufficiente?

Per chattare, riassumere e redigere bozze, sì: la differenza di qualità rispetto a Q8 è minima. Per la generazione di codice o il ragionamento preciso, Q5 o Q6 valgono la pena di avere più memoria, se disponibile.

Windows o Linux per l'IA locale?

Linux, se lo conoscete bene. Un'installazione minima utilizza 1-2 GB invece di circa 4 GB, il che libera memoria a sufficienza per passare a un modello superiore in alcune configurazioni.

Quale BMAX Il mini PC è la soluzione migliore per l'intelligenza artificiale locale?

La vitamina B12 Power con 24 GB per i modelli 14B. Il B11 Pro con 16 GB è il miglior rapporto qualità-prezzo per i modelli 7B e 8B utilizzati insieme al lavoro quotidiano. Il B3 Turbo è sufficiente per i modelli 3B e la sperimentazione.

In definitiva

L'intelligenza artificiale locale su un mini PC non è una fantasia hardware, ma ha un limite, e questo limite è la memoria. Con 24 GB è possibile eseguire un modello a 14 bit senza problemi. Con 16 GB è possibile eseguire comodamente un modello a 7 o 8 bit.Con 8 GB si eseguono piccoli modelli specifici per determinate attività, non un assistente generico.

Acquista subito la memoria di cui hai bisogno, perché è saldata e permanente. Poi scegli il computer più silenzioso di quella fascia di prezzo: starai seduto accanto ad esso mentre elabora i dati.

Modelli da 24 GB, 16 core e 14 bit. IL BMAX B12 Power è l'unico livello della gamma che esegue un modello 14B nel quarto trimestre con contesto di riserva.

Negozio BMAX mini PC

Fonti

  • Dimensioni dei pesi del modello: dimensioni tipiche dei file GGUF Q4_K_M per modelli con parametri da 3B a 70B (ad esempio le famiglie Qwen2.5 e Llama 3.1). I valori sono approssimativi e variano a seconda dell'architettura del modello.
  • Overhead: 4 GB per Windows 11, 1–2 GB per un'installazione minima di Linux, più 1–4 GB di cache KV con contesto 8k–32k.
  • Power e costo: 12,4 W idle da B12 pubblicato Power misurazioni; 17 W e 80 W modellati per inferenza mista e continua; elettricità a 17,45 ¢/kWh, EIA elettrica Power Mensile, Gennaio 2026.
  • Configurazioni e prezzi della memoria: bmaxbuy.com pagine prodotto per B3 Turbo, B7A Plus, B11 Pro e vitamina B12 Power, ottobre 2026.

I valori di memoria sono stime di pianificazione, non parametri di riferimento. I requisiti effettivi variano in base all'architettura del modello, alla quantizzazione, alla lunghezza del contesto e allo stack software. BMAX I mini PC descritti in questa guida utilizzano memoria saldata.

Lascia un commento

Tieni presente che i commenti devono essere approvati prima di essere pubblicati.