Acquista memoria, non TOPS. Per l'intelligenza artificiale locale su un mini PC, l'unica specifica che determina quali modelli è possibile eseguire è la RAM. 24 GB consentono di eseguire comodamente un modello a 14 bit, 16 GB funzionano bene con modelli a 7 o 8 bit, mentre 8 GB sono sufficienti per piccoli assistenti a 3 bit: nessun valore della NPU cambia questo aspetto.
Questa è la risposta breve, ed è l'opposto di come vengono commercializzati i PC con intelligenza artificiale. I produttori indicano il valore TOPS sulla confezione perché è un numero intero elevato; non indicano la larghezza di banda della memoria perché è quest'ultima a rappresentare il vero limite.
Ecco cosa significano i termini di marketing, quanto velocemente un mini PC genera testo e quale modello acquistare per ogni fascia di prezzo.
Punti chiave
- La memoria decide quali modelli vengono eseguiti. 8 GB → 3B, 16 GB → 7B/8B, 24 GB → 14B. Non esiste alcun modello con capacità superiore a 24 GB in questo formato.
- TOPS non prevede il numero di token al secondo. La larghezza di banda della memoria è determinante: un modello da 14 byte a 102 GB/s raggiunge un massimo di circa 11 token al secondo.
- La maggior parte dei software di intelligenza artificiale locali ignora l'NPU. Ollama, LM Studio e llama.cpp Esegui su CPU e GPU integrata.
- Il suo funzionamento è economico. Due ore di inferenza al giorno costano circa 27 dollari all'anno nel settore elettrico.
- I modelli 32B non sono compatibili. 20 GB di pesi più Windows non lasciano spazio nei 24 GB.
In questa guida
Che cos'è un mini PC con intelligenza artificiale?
Nel 2026 l'etichetta avrà uno di questi tre significati, e non sono equivalenti:
- Una macchina dotata di NPU. Intel Core Ultra E AMD Ryzen I chip della serie 8000 includono un'unità di elaborazione neurale con una potenza di calcolo di circa 10-40 TOPS. È progettata per attività in background prolungate, come effetti per le videochiamate e alcuni strumenti per le foto, ed è raramente utilizzata dai modelli linguistici locali.
- Una macchina con memoria sufficiente. Questa è l'unica definizione che conta per eseguire un modello. 24 GB di LPDDR5 a 102 GB/s possono contenere e alimentare un modello a 14 bit.
- Un computer dotato di una potente GPU integrata. Le schede grafiche Intel Arc e Radeon 780M possono alleggerire il carico di alcuni livelli di un modello, velocizzandone la generazione, ma condividono la memoria con la CPU, quindi la capacità non aumenta.
NPU vs GPU vs CPU
L'inferenza locale suddivide il lavoro tra tre motori e la suddivisione dipende dal software:
- processore — sempre utilizzato, e spesso l'unico motore. Gestisce l'intero modello quando non è presente l'offload della GPU.
- GPU integrata — utilizzato da llama.cpp e i suoi derivati per posizionare alcuni livelli. Più veloce della CPU per i livelli che contiene, limitato dalla memoria condivisa.
- NPU — utilizzato da un numero limitato di stack specifici di fornitori. Non è il percorso predefinito per Ollama o LM Studio nel 2026.
Perché TOPS non è il numero da usare per fare acquisti
TOPS misura il picco di operazioni intere al secondo su un carico di lavoro sintetico. La velocità di generazione è limitata dalla velocità con cui è possibile leggere i pesi del modello dalla memoria: un passaggio completo per token. Un chip con 40 TOPS e una larghezza di banda di 60 GB/s sarà più lento di un chip con 10 TOPS e 100 GB/s.
Quindi, quando vedi "AI PC, 40 TOPS", traducilo come: questa macchina ha un acceleratore per le attività in background.Quindi controlla la memoria.
Quanta memoria è necessaria per ogni dimensione del modello?
| Taglia del modello | pesi Q4 | Plus Windows + contesto | RAM minima | A cosa serve |
|---|---|---|---|---|
| 3B | 1,9 GB | ~7 GB | 8 GB | Riassunto, traduzione, assistenti semplici |
| 7B/8B | 4,8 GB | ~10 GB | 12 GB stretti, 16 GB comodi | Chiacchiere generali, stesura, completamento del codice |
| 14B | 9,0 GB | ~15 GB | 16 GB stretti, 24 GB comodi | Ragionamento migliore, documenti lunghi, codifica locale |
| 32B | 19,9 GB | ~27 GB | 32 GB | Impossibile su un mini PC da 24 GB |
I pesi sono di dimensioni tipiche Q4_K_M GGUF. L'overhead è dato da Windows più una cache di contesto da 8k a 32k; un'installazione minima su Linux consente un risparmio di circa 2 GB.
La regola pratica è: scegli la dimensione del modello di cui hai effettivamente bisogno, poi acquista il livello di memoria che lo supporta lasciando 2-4 GB di margine. Seguendo questa regola, la maggior parte delle persone opta per 16 GB per 7B e 24 GB per 14B.
Quanto sarà veloce in realtà?
Esiste un modello semplice per la velocità di generazione: token al secondo ≈ larghezza di banda della memoria ÷ dimensione del modello. L'intero modello viene letto una volta per ogni token, quindi un modello da 9 GB su una macchina da 102 GB/s raggiunge al massimo circa 11 token al secondo.
Ecco perché un modello a 3 bit sembra istantaneo, mentre un modello a 32 bit sembra difettoso sullo stesso hardware. Questo spiega anche perché aggiungere core non serve a nulla: un chip a 16 core e un chip a 6 core con la stessa larghezza di banda producono token quasi alla stessa velocità.
In pratica, aspettatevi prestazioni pari al 50-70% del valore teorico. Un modello a 7 bit con processore Q4 su un mini PC da 24 GB è comodamente interattivo; un modello a 14 bit è utilizzabile per la progettazione grafica, ma non per chattare in tempo reale; qualsiasi dato che esce dalla memoria viene trasferito alla velocità del disco e diventa inutilizzabile.
Quanto costa lasciarlo acceso?
Di solito si lascia acceso un box AI in modo che il modello venga caricato quando necessario. A 12,4 W inattivo, questo è circa 19 dollari all'anno. Due ore di inferenza al giorno corrispondono in media a 17 W, ovvero $27. Anche otto ore al giorno raggiungono soltanto $53.
Confrontiamolo con l'hardware: la differenza tra un computer con 16 GB e uno con 24 GB è di circa 290 dollari. Il consumo di energia elettrica non è mai il motivo per scegliere una fascia di prezzo piuttosto che un'altra: la memoria lo è.
Quale BMAX per ogni lavoro?
| Cosa vuoi correre | Scegliere | Perché |
|---|---|---|
| Piccoli assistenti 3B, riassunto, traduzione | B3 Pro — 8 GB, $199,99 | Sufficiente per modelli compatti e il modo più economico per sperimentare. |
| Assistenti di chat e programmazione 7B/8B | B11 Pro — 16 GB, $459,99 | 16 GB offrono un margine di sicurezza adeguato per Windows e per un contesto 8k. |
| Modelli 14B, contesto lungo, diversi strumenti aperti | B12 Power — 24 GB, $749,99 | L'unico livello in grado di gestire comodamente 14 bit; i 16 core contribuiscono a un'elaborazione rapida. |
| 32B e superiori | Non è un mini PC | Richiede 32-64 GB di memoria espandibile, ovvero un fattore di forma diverso. |
Due precisazioni. La memoria è saldata su ogni modello, quindi la scelta è definitiva. E se dovete scegliere tra 16 GB e 24 GB, acquistate il modello da 24 GB se avete intenzione di utilizzare l'intelligenza artificiale locale: è la differenza tra un computer utile nel 2029 e uno che non lo sarà.
Quando è sconsigliabile acquistarne uno?
- È necessario un modello 32B o superiore. I soli pesi occupano 20 GB; con Windows e il contesto, non c'è spazio sufficiente in 24 GB.
- Hai bisogno di una generazione veloce. Un mini PC ha una larghezza di banda limitata. Se hai bisogno di più di 30 token al secondo su un modello a 14 bit, ti serve una GPU dedicata con memoria propria.
- Vuoi allenarti o perfezionare le tue abilità. L'inferenza locale va bene; l'addestramento richiede VRAM e larghezza di banda che questo fattore di forma non possiede.
- Deve essere silenzioso sotto carico. L'inferenza sostenuta è un carico sostenuto su tutti i core. Una macchina silenziosa raffreddata a ventola è udibile dopo dieci minuti; la nostra guida senza ventola spiega perché il raffreddamento passivo non è la soluzione.
Come si inizia in 30 minuti?
- Installa Ollama (riga di comando) o LM Studio (applicazione desktop). Entrambe gestiscono automaticamente la quantizzazione e la memoria.
- Scarica un modello 7B nel quarto trimestre Innanzitutto, è il modo più rapido per verificare che il dispositivo funzioni correttamente prima di procedere con un download più corposo.
- Monitora il consumo di memoria in Gestione attività durante il caricamento. Se si avvicina al limite, ridurre la dimensione del contesto prima di eliminare il modello.
- Utilizzare un'installazione minima di Linux Se possibile, si liberano circa 2 GB, che spesso fanno la differenza tra un sistema a 14 bit funzionante e uno no.
- Mantieni il modello su NVMe, Non si tratta di un'unità USB. Caricare un modello da 9 GB da USB è talmente lento da sembrare un crash.
Se desideri conoscere tutti i calcoli di memoria relativi a questi livelli, il nostro RAMguide locale AI va più a fondo. Se stai costruendo una macchina che serve anche file ed esegue container, il Guida Linux copre il lato software.
FAQ
Ho bisogno di una NPU per eseguire l'IA in locale?
No. Ollama, LM Studio e llama.cpp Vengono eseguiti su CPU e iGPU. Una NPU aiuta con le attività in background come gli effetti video, ma non sarà la strada principale per i modelli linguistici nel 2026.
Di quanta RAM ho bisogno per un modello 7B?
Circa 10 GB in totale con Windows e contesto, quindi 12 GB sono il minimo e 16 GB sono comodi. Su un'installazione minima di Linux, 8 GB possono essere sufficienti per un contesto breve.
Un mini PC può eseguire un modello 32B?
Non correttamente. Un modello a 32 bit su Q4 ha circa 20 GB di pesi; con Windows e una cache di contesto non c'è spazio su una macchina da 24 GB. Potrebbe caricare tramite paging su disco, ma la velocità è inutilizzabile.
Quanti token al secondo posso aspettarmi?
In pratica, la larghezza di banda della memoria si ottiene dividendo la dimensione del modello per il suo valore, e in genere si ottiene il 50-70% di tale valore. Un modello da 7 byte in Q4 su una macchina da 24 GB è interattivo; 14 byte sono utilizzabili per la progettazione; 32 byte non sono pratici.
16 GB sono sufficienti per l'IA locale?
Per i modelli 7B e 8B, sì.Per la versione 14B, 16 GB funzionano, ma lasciano pochissimo margine di manovra, e te ne accorgerai quando Windows si aggiorna o quando è aperto un browser.
Una CPU più veloce rende più rapide le risposte dell'IA?
A malapena. La generazione è limitata dalla larghezza di banda della memoria, non dalla potenza di calcolo. Una CPU più veloce aiuta nell'elaborazione rapida di input lunghi, ma non nella generazione di token.
Posso usare la GPU integrata per velocizzare le cose?
SÌ - llama.cpp LM Studio può delegare alcuni livelli alla grafica Intel Arc o Radeon. Questo è utile, ma non aumenta la memoria disponibile, quindi il limite massimo di dimensione del modello rimane invariato.
Quale BMAX Il mini PC è la soluzione migliore per l'intelligenza artificiale locale?
La vitamina B12 Power con 24 GB per i modelli 14B, il B11 Pro con 16 GB per 7B e 8B e il B3 Pro con 8 GB per piccole attività da 3B.
Letture correlate
- IA locale su un mini PC: la guida completa alla RAM per 7B–32B
- Quanto costa far funzionare un mini PC per un anno
- Cos'è realmente un PC con intelligenza artificiale (principi, non acquisti)
- IL BMAX acquistare differenziale
Modelli da 24 GB, 16 core e 14 bit. IL BMAX B12 Power è l'unico livello della gamma che esegue un modello 14B nel quarto trimestre con contesto di riserva.
Fonti
- Dimensioni dei pesi del modello: dimensioni tipiche Q4_K_M GGUF per modelli di parametri da 3B a 32B; l'overhead presuppone Windows più 1-4 GB di cache KV.
- Valori di larghezza di banda: DDR5-5600 dual channel ≈ 89 GB/s; LPDDR5-6400 ≈ 102 GB/s. La stima del token è data da larghezza di banda ÷ dimensione del modello, un limite superiore.
- Power: 12.4 Larghezza da B12 pubblicato Power misurazioni; ~80 W di inferenza sostenuta modellata per un chip da 45 W sotto carico; elettricità a 17,45 ¢/kWh, EIA gennaio 2026.
- Prezzi e configurazioni: bmaxbuy.com Pagine prodotto, ottobre 2026.
Tutti i valori prestazionali riportati in questo articolo rappresentano limiti superiori stimati, non misurazioni effettive. La velocità di elaborazione effettiva dipende dal tempo di esecuzione, dal formato di quantizzazione, dalla lunghezza del contesto e dall'efficienza della memoria.
