Toute discussion sur l'IA locale commence par le processeur : quel CPU, quel GPU, combien de TOPS ? Ensuite, le modèle se charge, la machine commence à échanger des données avec le disque, et la véritable contrainte devient évidente : c'était la mémoire depuis le début.
L'exécution locale d'un modèle pose d'abord un problème de mémoire, puis un problème de calcul. Si les poids et le cache de contexte ne tiennent pas dans la RAM, la machine n'exécute pas le modèle ; elle en exécute une approximation beaucoup plus lente, en utilisant la pagination sur un SSD.
Voici donc le calcul, pour les trois tailles de modèles sur lesquelles les gens posent réellement des questions — 7B, 14B et 32B — et une réponse honnête sur laquelle d'entre elles un mini PC peut gérer.
Points clés à retenir
- UN Le modèle 7B/8B du quatrième trimestre nécessite environ 10 Go. Au total, une fois Windows et le contexte pris en compte, 12 Go suffisent, 16 Go sont confortables.
- UN Le modèle 14B nécessite environ 15 Go.. Il peut accueillir confortablement un mini PC de 24 Go et tout juste un mini PC de 16 Go.
- UN Le modèle 32 bits nécessite environ 27 Go de RAM.. Aucun courant BMAX Le mini PC peut le faire fonctionner correctement, car la mémoire est soudée à un maximum de 24 Go.
- Q4_K_M est le point idéal: Environ 40 % plus petit que le Q8, avec une légère perte de qualité. En dessous du Q4, la perte devient flagrante.
- L'électricité n'est pas la contrainte : un boîtier d'IA toujours allumé coûte environ 19 à 26 $ par an aux taux américains.
Dans ce guide
Les mathématiques de la mémoire
Trois chiffres déterminent si un modèle fonctionne :
- Poids. Le fichier du modèle lui-même. Au quatrième trimestre, environ 0,65 Go par milliard de paramètres — environ 4,8 Go pour un modèle à 7 milliards de paramètres, 9 Go pour un modèle à 14 milliards et 20 Go pour un modèle à 32 milliards.
- Cache de contexte. La mémoire de travail pour la conversation. Elle augmente avec la longueur du contexte ; 1 à 4 Go sont typiques pour 8 000 à 32 000 éléments.
- Le système d'exploitation. Windows nécessite environ 4 Go de RAM avant même le lancement de tout logiciel d'IA. Une installation Linux minimale requiert entre 1 et 2 Go.
Au final, le résultat est bien moins généreux que ne le suggère la taille du téléchargement du modèle :
| Modèle | Poids du T4 | + OS & contexte | minimum réaliste | BMAX option |
|---|---|---|---|---|
| 3B | 1,9 Go | ~7 Go | 8 Go | B3 Turbo |
| 7B/8B | 4,8 Go | ~10 Go | 12 Go, c'est serré ; 16 Go, c'est confortable. | B7A Plus /B11 Pro |
| 14B | 9,0 Go | ~15 Go | 16 Go serré, 24 Go confortable | B12 Power |
| 32B | 19.9 Go | ~27 Go | 32 Go | Aucun — soudé à 24 Go |
| 70B | 40 Go | ~48 Go | 64 Go | Aucun |
Les poids correspondent aux tailles typiques des fichiers GGUF Q4_K_M. La surcharge est calculée pour Windows avec un contexte de 8 à 32 ko. Les modèles individuels varient selon l'architecture, le nombre de couches et les paramètres de contexte.
Que faut-il pour quelle machine ?
8 Go (B3) Turbo) — Modèles 3B. Petits assistants, outils de résumé et de traduction. Un modèle 7B sera chargé au quatrième trimestre, mais il ne reste presque rien pour Windows, ce qui entraînera des ralentissements importants. Utilisez ce niveau pour des tâches spécifiques, et non pour un modèle de chat général.
12 Go (B7A) Plus) — 7B au Q4, serré. Il s'agit du point d'entrée d'un modèle général utilisable. Prévoyez de fermer le navigateur pendant son exécution et de limiter le contexte.
16 Go (B11) Pro) — 7B/8B confortable. Le niveau de bande passante idéal pour un modèle local unique utilisé en parallèle d'une activité normale. Un modèle de 14 milliards de Go se chargera au quatrième quartile, mais vous êtes à 1 ou 2 Go de la limite, ce qui explique les saccades et la lenteur des premiers jetons.
24 Go (B12) Power) — 14B confortable. C'est la configuration idéale pour l'IA locale sur un mini PC. Un modèle de 14 milliards de octets au quatrième trimestre, plus un contexte de 16 000 octets, tient sans problème, et vous pouvez même garder un navigateur ouvert.
La limite honnête : Une machine de 24 Go ne peut pas exécuter correctement un modèle 32 octets. Les poids à eux seuls occupent environ 20 Go, ne laissant que 4 Go pour Windows, le cache de contexte et le reste — ce qui est insuffisant. Elle peut charger et produire quelques jetons par seconde en les écrivant sur le disque, mais il s'agit d'une démonstration, pas d'un flux de travail réel.
Quantification
La quantification permet à un modèle de 14 octets de tenir dans 9 Go au lieu de 28 Go. Elle réduit la précision des poids (de 16 bits à environ 4 bits) et le coût en termes de qualité est moindre que ce que le nombre suggère, jusqu'à un certain point.
- Q8_0 (15 Go) — quasiment sans perte, mais cela double les besoins en mémoire pour une différence de qualité que la plupart des gens ne peuvent pas entendre dans le texte affiché.
- Q6_K/Q5_K_M (10,5 à 11,5 Go) — un bon compromis si vous avez de la marge de manœuvre et que vous vous souciez du code ou de l'écriture de textes longs.
- Q4_K_M (9 Go) — le choix par défaut, et ce n'est pas sans raison. Environ 40 % plus petit que Q8, avec une perte faible et généralement acceptable.
- Q3 et moins — Dégradation notable : répétitions, raisonnements erronés, mauvaise exécution des instructions. Cela ne vaut la peine que pour forcer l’exécution d’un modèle sur une machine qui, autrement, ne pourrait pas le faire.
Qu'en est-il du NPU ?
Chaque noyau Ultra Le mini PC affiche un NPU et un nombre de TOPS. Il est important de comprendre ce que ces chiffres impliquent et n'impliquent pas pour l'IA locale.
Le NPU est un accélérateur basse consommation conçu pour les charges de travail continues et soutenues : flou d’arrière-plan, isolation de la voix, certains effets photo et vidéo. Il est performant pour ces tâches. En revanche, en 2026, il ne constituera pas la voie principale pour l’exécution d’un modèle de langage.
- La plupart des logiciels LLM locaux n'utilisent pas le NPU. Ollama, LM Studio et llama.cpp L'exécution se fait sur le processeur et, le cas échéant, sur le GPU. Des modules NPU existent, mais ils sont limités et spécifiques à chaque modèle.
- TOPS ne prédit pas le nombre de jetons par seconde. L'inférence des modèles de langage est bien plus limitée par la bande passante et la capacité de la mémoire que par le débit maximal de l'accélérateur.
- Le NPU reste important pour les appels vidéo, et c'est pourquoi ces puces sont réactives dans le travail quotidien — mais pas pour l'usage auquel les gens les destinent.
Ainsi, lorsqu'une fiche technique indique « PC IA, 40 TOPS », cela signifie en réalité que cette machine dispose d'un accélérateur pour les tâches en arrière-plan et qu'elle peut exécuter un modèle de langage si sa mémoire vive est suffisante. La mémoire vive est donc l'élément à vérifier.
attentes en matière de rapidité
Nous n'indiquerons pas le nombre de jetons par seconde, car il varie selon le modèle, la quantification, la longueur du contexte et la version du pilote. Ce qui reste constant :
- 7B–8B sur carte graphique intégrée L'interface est interactive — assez rapide pour discuter, rédiger des brouillons et faire des résumés, mais pas instantanée.
- 14B est environ deux fois plus rapide de 7B sur le même matériel, car il y a deux fois plus de données à déplacer.
- La bande passante mémoire est plus importante que la puissance de calcul (TOPS). Un modèle qui tient dans la RAM fonctionne à une vitesse utilisable même sur un iGPU modeste ; un modèle qui déborde sur le disque fonctionne à une fraction de cette vitesse, quelle que soit la vitesse de la puce.
- Un contexte trop long ralentit tout., car le cache s'agrandit et la charge cognitive augmente avec chaque jeton.
Si la vitesse est la priorité, optez pour un modèle plus compact, et non pour un ordinateur plus puissant. Un modèle 7 Go sorti au quatrième trimestre et offrant une utilisation confortable sera plus agréable qu'un modèle 14 Go constamment saturé en mémoire.
Power et la chaleur
Un boîtier d'IA reste généralement allumé pour être prêt à l'emploi. En veille, un mini PC consomme environ 12 W, soit environ 19 $ par an. Deux heures d'inférence par jour consomment en moyenne 17 W, soit 26 $ par an. Même en fonctionnement continu, la consommation s'élève à environ 122 $.
Comparons cela au matériel : la différence de prix entre un modèle 16 Go et un modèle 24 Go est de 290 $. Ce n’est pas la consommation électrique qui justifie le choix d’une gamme plutôt qu’une autre, mais la mémoire. C’est la même tendance que nous avons observée sur l’ensemble de la gamme dans notre test. test de consommation d'énergie.
La chaleur est le principal problème pratique. Une inférence soutenue sollicite tous les cœurs du processeur de manière continue, et un châssis compact fera tourner son ventilateur. Si l'ordinateur est posé sur votre bureau, une puce de 15 W est bien plus facile à utiliser qu'une de 45 W – c'est pourquoi le B11 Pro il s'agit d'un boîtier d'IA raisonnable malgré sa mémoire réduite.
Configuration du logiciel
Vous n’avez pas besoin de framework pour commencer. Trois outils suffisent pour la plupart des besoins :
- Ollama — En ligne de commande, une commande par modèle, la quantification est gérée automatiquement. C'est la méthode la plus rapide pour tester l'adéquation des modèles.
- LM Studio — Une application de bureau avec un navigateur de modèles et une interface de chat. Idéale pour les utilisateurs Windows qui souhaitent visualiser l'utilisation de la mémoire en temps réel.
- llama.cpp — le moteur sous-jacent aux deux. Il est judicieux de l'utiliser directement si vous souhaitez optimiser la taille du contexte et les couches de déchargement GPU.
Deux paramètres sont plus importants que l'outil :
- Taille du contexte. Passer de 32k à 8k peut libérer 2 à 3 Go, ce qui fait souvent la différence entre un modèle 14B compatible et un modèle non compatible.
- Couches de déchargement GPU. Déplacer certaines couches vers le GPU intégré libère de la RAM système et accélère la génération. Un plus grand nombre de couches n'est pas toujours synonyme de meilleure performance : la VRAM est partagée avec la mémoire système sur ces machines.
Si vous êtes à l'aise avec Linux, exécutez le modèle sur ce système. Une installation minimale offre 2 à 3 Go de marge supplémentaire par rapport à Windows, ce qui correspond parfois à une installation complète.Notre guide de Quelle est la durée de vie d'un mini PC ? Cela s'applique également : une inférence soutenue est la charge de travail qui vieillit le plus rapidement un ventilateur.
Lequel BMAX convient
| Ce que vous voulez exécuter | Prendre | Pourquoi |
|---|---|---|
| Petits assistants 3B, résumé, traduction | B3 Turbo — 8 Go, 219,99 $ | Suffisant pour les modèles compacts, et la solution la plus économique pour expérimenter. |
| Modèles de chat 7B/8B en parallèle du travail normal | B11 Pro — 16 Go, 459,99 $ | 16 Go offrent une marge de manœuvre confortable pour Windows et un contexte 8K. |
| Modèles 14B, contexte plus long, multitâche | B12 Power — 24 Go, 749,99 $ | Le seul niveau capable de gérer confortablement 14 milliards de fichiers ; 16 cœurs contribuent à un traitement rapide. |
| 32B et plus | Pas un mini PC | Il vous faut 32 à 64 Go de mémoire extensible, ce qui implique un format différent. |
Un point important à noter, valable pour tous les modèles : la mémoire est soudée. Aucune mise à niveau n'est possible ultérieurement, le choix est donc définitif. Si vous hésitez entre 16 Go et 24 Go, et que l'IA locale fait partie de vos projets, optez pour le modèle 24 Go, qui restera performant dans trois ans.
FAQ
Un mini PC peut-il exécuter une IA locale ?
Oui, jusqu'à environ 14 milliards de paramètres en quantification Q4 sur un modèle de 24 Go. Les modèles 7 et 8 milliards fonctionnent parfaitement avec 16 Go. À partir de 32 milliards de paramètres, il faut plus de mémoire qu'un mini PC compact n'en offre.
De combien de RAM ai-je besoin pour un modèle 7B ?
Environ 10 Go au total, Windows et contexte inclus ; 12 Go constituent donc le minimum et 16 Go sont confortables. Avec une installation Linux minimale, 8 Go peuvent suffire pour un modèle 7B avec un contexte court.
Un mini PC de 24 Go peut-il faire tourner un modèle 32B ?
Pas de manière optimale. Un modèle 32 octets au quatrième trimestre pèse environ 20 Go, ce qui laisse trop peu d'espace pour Windows et le cache de contexte. Il peut se charger par pagination sur disque, mais sa vitesse le rend impraticable pour une utilisation intensive.
Ai-je besoin d'un GPU pour l'IA locale ?
Pas une carte graphique dédiée. La carte graphique intégrée allège le traitement de certaines couches, mais la capacité de mémoire est plus importante que la puissance graphique. Un modèle compatible avec la RAM fonctionne correctement avec un iGPU.
À quelle vitesse dois-je m'attendre ?
Interactif pour les modèles 7 à 8 bits, sensiblement plus lent pour 14 bits, et impraticable pour tout ce qui déborde sur disque. La bande passante mémoire est le facteur limitant, et non la puissance de calcul maximale.
La quantification du quatrième trimestre est-elle suffisamment performante ?
Pour les discussions instantanées, la synthèse et la rédaction, oui — la différence de qualité avec Q8 est minime. Pour la génération de code ou le raisonnement précis, Q5 ou Q6 justifient l’investissement en mémoire supplémentaire si vous en disposez.
Windows ou Linux pour l'IA locale ?
Linux, si vous êtes à l'aise avec ce système. Une installation minimale utilise 1 à 2 Go au lieu d'environ 4 Go, ce qui libère suffisamment de mémoire pour passer à un modèle supérieur dans certaines configurations.
Lequel BMAX Le mini PC est-il le meilleur choix pour l'IA locale ?
La vitamine B12 Power avec 24 Go pour les modèles 14B. Le B11 Pro La version 16 Go offre un meilleur rapport qualité-prix pour les modèles 7B et 8B utilisés au quotidien. Le B3 Turbo Cela suffit pour les modèles 3B et l'expérimentation.
En résumé
L'IA locale sur un mini PC n'est pas une utopie matérielle, mais ses performances sont limitées par la mémoire. Avec 24 Go de RAM, un modèle de 14 octets fonctionne correctement. Avec 16 Go, un modèle de 7 ou 8 octets est parfaitement utilisable.Avec 8 Go de RAM, vous exécutez des modèles de petite taille dédiés à des tâches spécifiques, et non un assistant général.
Achetez dès maintenant la mémoire dont vous avez besoin, car elle est soudée et permanente. Choisissez ensuite l'ordinateur le plus silencieux de cette gamme : vous serez assis à côté pendant qu'il fonctionne.
24 Go, 16 cœurs, modèles 14B. Le BMAX B12 Power est le seul niveau de la gamme à exécuter un modèle 14B au T4 avec un contexte suffisant.
Sources
- Taille des fichiers de poids des modèles : tailles typiques des fichiers GGUF Q4_K_M pour les modèles à 3 à 70 milliards de paramètres (par exemple, les familles Qwen2.5 et Llama 3.1). Les valeurs sont approximatives et varient selon l’architecture du modèle.
- Surcharge : 4 Go pour Windows 11, 1 à 2 Go pour une installation Linux minimale, plus 1 à 4 Go de cache KV à un contexte de 8k à 32k.
- Power et coût : 12,4 W en veille à partir de la puissance nominale B12. Power mesures ; 17 W et 80 W modélisés pour une inférence mixte et continue ; électricité à 17,45 ¢/kWh, EIA Électrique Power Mensuel, Janvier 2026.
- Configurations et prix de la mémoire : bmaxbuy.com pages produits pour B3 Turbo, B7A Plus, B11 Pro et B12 Power, octobre 2026.
Les chiffres relatifs à la mémoire sont des estimations prévisionnelles, et non des valeurs de référence. Les besoins réels varient en fonction de l'architecture du modèle, de la quantification, de la longueur du contexte et de la pile logicielle. BMAX Les mini-PC présentés dans ce guide utilisent de la mémoire soudée.



