Saltar al contenido
🖤 BLACK FRIDAY: ¡Hasta 63% de descuento! | 🎁 Gasta entre $300 y $10, entre $500 y $15, entre $1000 y $25 | ⏰ Finaliza el 30 de noviembre:
BMAX mini PC running a local AI model with 24GB of memory
Publicación anterior Siguiente publicación

¿Puede un Mini PC ejecutar IA local? ¿Cuánta RAM para los modelos 7B, 14B y 32B?

Cada conversación entre la IA local comienza con el procesador. Qué CPU, qué GPU, cuántos TOPS. Luego, el modelo se carga, la máquina comienza a cambiar al disco y la verdadera restricción se vuelve obvia: todo el tiempo fue memoria.

Ejecutar un modelo localmente es un problema de memoria antes de que sea un problema de cómputo. Si los pesos y el caché de contexto no caben en la RAM, la máquina no ejecuta el modelo; ejecuta una aproximación mucho más lenta, paginando a un SSD.

Así que aquí está la aritmética, para los tres tamaños de modelo por los que la gente realmente pregunta (7B, 14B y 32B) y una respuesta honesta sobre cuál de ellos puede usar una mini PC. manejar.

Conclusiones clave

  • Un modelo 7B/8B en el cuarto trimestre necesita alrededor de 10 GB en total una vez que se cuentan Windows y el contexto. 12 GB funcionan, 16 GB son cómodos.
  • Un modelo 14B necesita alrededor de 15 GB. Eso cabe cómodamente en una mini PC de 24 GB y en una de 16 GB apenas.
  • Un modelo 32B necesita alrededor de 27 GB. Ninguna mini PC BMAX actual puede ejecutarlo correctamente, porque la memoria está soldada a 24 GB como máximo.
  • Q4_K_M es el punto ideal: aproximadamente un 40% más pequeño que Q8 con una pequeña pérdida de calidad. Por debajo del cuarto trimestre, la pérdida se vuelve obvia.
  • La electricidad no es la limitación: una caja de IA siempre encendida cuesta alrededor de 19-26 dólares al año en EE.UU. tasas.

Las matemáticas de la memoria

Bar chart showing memory required by 3B, 7B, 14B, 32B and 70B local AI models, with 16GB and 24GB capacity lines
Pesos del modelo además de los gastos generales que la gente olvida: Windows y el caché de contexto. Las líneas discontinuas son los dos niveles de memoria que BMAX vende.

Tres números deciden si un modelo se ejecuta:

  1. Pesos. El archivo del modelo en sí. En el cuarto trimestre, aproximadamente 0,65 GB por mil millones de parámetros: alrededor de 4,8 GB para un modelo de 7B, 9 GB para 14B, 20 GB para 32B.
  2. Caché de contexto. La memoria de trabajo para la conversación. Crece con la longitud del contexto; De 1 a 4 GB es típico para tokens de 8k a 32k.
  3. El sistema operativo. Windows necesita aproximadamente 4 GB antes de que se inicie cualquier software de IA. Una instalación mínima de Linux ocupa entre 1 y 2 GB.

Súmelos y la imagen es mucho menos generosa que el tamaño de descarga del modelo. sugiere:

Modelo Pesos Q4 + SO & contexto Mínimo realista BMAX opción
3B 1,9 GB ~7 GB 8 GB B3 Turbo
7B/8B 4,8 GB ~10 GB 12 GB ajustados, 16 GB cómodos B7A Plus /B11 Pro
14B 9.0 GB ~15 GB 16 GB ajustados, 24 GB cómodos B12 Power
32B 19.9 GB ~27 GB 32 GB Ninguno — soldado a 24 GB
70B 40 GB ~48 GB 64 GB Ninguno

Los pesos son tamaños típicos de Q4_K_M GGUF. Los gastos generales suponen Windows más un contexto de 8k a 32k. Los modelos individuales varían según la arquitectura, el número de capas y la configuración de contexto.

Qué cabe en cada máquina

8 GB (B3 Turbo) — Modelos 3B. Pequeños asistentes, resumidores, traducción. Un modelo 7B se cargará en el cuarto trimestre pero no deja casi nada para Windows, por lo que intercambiará y rastreará. Utilice este nivel para tareas específicas, no para un modelo de chat general.

12 GB (B7A Plus) — 7B en el cuarto trimestre, ajustado. Este es el punto de entrada para un modelo general utilizable. Espere cerrar el navegador mientras se ejecuta y mantenga el contexto breve.

16 GB (B11 Pro): 7B/8B cómodo. El nivel sensato para un único modelo local utilizado junto con el trabajo normal. Un modelo de 14B se cargará en el cuarto trimestre, pero estás entre 1 y 2 GB del límite máximo, que es de donde provienen los primeros tokens lentos y entrecortados.

24 GB (B12 Power): 14B cómodos. Este es el punto óptimo para la IA local en una mini PC. Un modelo de 14B en el cuarto trimestre más un contexto de 16k encaja con espacio de sobra, y aún puedes mantener un navegador abierto.

La verdadera limitación: una máquina de 24 GB no ejecuta bien un modelo de 32B. Solo el peso es de unos 20 GB, dejando 4 GB para Windows, el caché de contexto y todo lo demás: no es suficiente. Puede cargar y producir algunos tokens por segundo transfiriéndolos al disco, pero eso es una demostración, no un flujo de trabajo.

Cuantización

Bar chart comparing file sizes of a 14B model at Q8, Q6, Q5, Q4, Q3 and Q2 quantization
El mismo modelo 14B en seis niveles de cuantificación. Q4_K_M está resaltado porque es donde aterrizan la mayoría de las configuraciones locales.

La cuantización es cómo un modelo 14B cabe en 9 GB en lugar de 28 GB. Reduce la precisión de los pesos (de 16 bits a aproximadamente 4 bits) y el costo de calidad es menor de lo que sugiere el número, hasta que deja de serlo.

  • Q8_0 (15 GB) : casi sin pérdidas, pero duplica el requisito de memoria para una diferencia de calidad la mayoría de las personas no pueden oír en la salida de texto.
  • Q6_K/Q5_K_M (10,5–11,5 GB) : una buena opción si tienes margen de maniobra y te preocupas por el código o el formato largo. escribiendo.
  • Q4_K_M (9 GB) : el valor predeterminado por una razón. Aproximadamente un 40% más pequeño que Q8 con una pérdida pequeña, generalmente aceptable.
  • Q3 y menos : degradación notable: repetición, razonamiento roto, seguimiento incorrecto de instrucciones. Solo vale la pena meter un modelo en una máquina que de otro modo no podría ejecutarlo.

¿Qué pasa con la NPU?

Cada mini PC Core Ultra anuncia una NPU y un número TOPS. Vale la pena entender lo que ese número hace y lo que no hace para la IA local.

La NPU es un acelerador de bajo consumo diseñado para cargas de trabajo sostenidas y siempre activas: fondo borroso, aislamiento de voz, algunos efectos de fotografía y video. Es eficiente en esas tareas. Lo que no es, en 2026, es la ruta principal para ejecutar un modelo de lenguaje.

  • La mayoría del software LLM local no utiliza la NPU. Ollama, LM Studio y llama.cpp se ejecutan en la CPU y, cuando esté disponible, en la GPU. Los backends de NPU existen, pero son limitados y específicos del modelo.
  • TOPS no predice tokens por segundo. La inferencia del modelo de lenguaje está limitada por el ancho de banda y la capacidad de la memoria mucho más que por el rendimiento máximo del acelerador.
  • La NPU sigue siendo importante para las videollamadas, y es por eso que estos chips responden en el trabajo diario, pero no para el propósito por el que la gente los compra.

Entonces, cuando una hoja de especificaciones dice "AI PC, 40 TOPS", la traducción honesta es: esta La máquina tiene un acelerador para tareas en segundo plano y puede ejecutar un modelo de lenguaje si tiene suficiente RAM. La RAM es la parte a comprobar.

Expectativas de velocidad

No vamos a citar tokens por segundo, porque varía según el modelo, la cuantificación, la longitud del contexto y la versión del controlador. Lo que es consistente:

  • 7B–8B en gráficos integrados se siente interactivo: lo suficientemente rápido para chatear, redactar y resumir, no instantáneo.
  • 14B es aproximadamente la mitad del velocidad de 7B en el mismo hardware, porque hay el doble de datos para mover.
  • El ancho de banda de la memoria importa más que TOPS. Un modelo que cabe en RAM funciona a una velocidad utilizable incluso en una iGPU modesta; un modelo que se derrama en el disco se ejecuta a una fracción de eso, independientemente de qué tan rápido sea el chip.
  • El contexto largo ralentiza todo, porque el caché crece y el trabajo de atención aumenta con cada token.

Si la velocidad es la prioridad, la respuesta es un modelo más pequeño, no una computadora más grande. Un modelo 7B en Q4 que se adapta cómodamente se sentirá mejor que un modelo 14B que está constantemente al borde del techo de memoria.

Power y calor

Bar chart of electricity cost for an always-on local AI mini PC at idle, two hours a day and continuous inference
Electricidad anual en 17,45¢/kWh. Incluso la inferencia continua cuesta alrededor de 122 dólares al año.

Por lo general, una caja de IA se deja encendida para que esté lista cuando la necesite. En reposo, una mini PC consume alrededor de 12 W, unos 19 dólares al año. Dos horas de inferencia al día equivalen a un promedio de 17 W, o 26 dólares al año. Incluso ejecutando inferencia continuamente, cuesta aproximadamente $122.

Compare eso con el hardware: la diferencia entre un modelo de 16 GB y uno de 24 GB es de $290. La electricidad no es la razón para elegir un nivel u otro: la memoria sí lo es. Este es el mismo patrón que encontramos en toda la gama en nuestra prueba de consumo de energía.

El calor es la preocupación práctica. La inferencia sostenida es una carga sostenida de todos los núcleos, y un chasis compacto hará girar su ventilador. Si la máquina está en su escritorio, es mucho más fácil vivir con un chip de 15 W que con uno de 45 W, razón por la cual el B11 Pro es una caja de IA razonable a pesar de la memoria más pequeña.

Configuración de software

No necesita un marco para comenzar. Tres herramientas cubren la mayor parte:

  • Ollama : línea de comandos, un comando por modelo, maneja la cuantificación automáticamente. La forma más rápida de probar lo que encaja.
  • LM Studio : una aplicación de escritorio con un navegador modelo y una interfaz de chat. Bueno para los usuarios de Windows que desean ver el uso de la memoria en vivo.
  • llama.cpp : el motor debajo de ambos. Vale la pena usarlo directamente si desea ajustar el tamaño del contexto y las capas de descarga de GPU.

Dos configuraciones importan más que la herramienta:

  1. Tamaño del contexto. De 32k a 8k se pueden liberar entre 2 y 3 GB, que suele ser la diferencia entre un modelo 14B que se adapta o no.
  2. Capas de descarga de GPU. Mover algunas capas a la iGPU libera RAM del sistema y acelera la generación. Más capas no siempre es mejor: la VRAM se comparte con la memoria del sistema en estas máquinas.

Si se siente cómodo con Linux, ejecute el modelo allí. Una instalación mínima deja entre 2 y 3 GB más de espacio libre que Windows, que en algunos casos es un nivel de modelo completo.Nuestra guía sobre cuánto dura una mini PC también se aplica: la inferencia sostenida es la carga de trabajo que envejece más rápido a un ventilador.

Cuál BMAX se adapta

Lo que desea ejecutar Seleccionar Por qué
Pequeños asistentes 3B, resumiendo, traducción B3 Turbo — 8 GB, $219,99 Suficiente para modelos compactos y la forma más económica de experimento.
Modelos de chat 7B/8B junto con el trabajo normal B11 Pro — 16 GB, $459,99 16 GB dejan un margen real para Windows y un contexto de 8k.
Modelos 14B, contexto más largo, multitarea B12 Power — 24 GB, $749,99 El único nivel que ejecuta 14B cómodamente; 16 núcleos ayudan con el procesamiento rápido.
32B y superior No es una mini PC Necesita entre 32 y 64 GB de memoria actualizable, lo que significa una forma diferente factor.

Una nota de compra que se aplica a todos los niveles: la memoria está soldada en todos estos modelos. No hay ninguna actualización posterior, por lo que la decisión es permanente. Si no está seguro entre 16 GB y 24 GB, y la IA local es parte del plan, la máquina de 24 GB es la que seguirá siendo útil en tres años.

Preguntas frecuentes

¿Puede una mini PC ejecutarse localmente? ¿IA?

Sí, hasta aproximadamente 14 mil millones de parámetros en la cuantificación del cuarto trimestre en un modelo de 24 GB. Los modelos 7B y 8B funcionan cómodamente con 16 GB. Cualquier cosa de 32B o superior necesita más memoria que la que proporciona una mini PC compacta.

¿Cuánta RAM necesito para un modelo de 7B?

Aproximadamente 10 GB en total una vez que se cuentan Windows y el contexto, por lo que 12 GB es el mínimo y 16 GB es cómodo. Con una instalación mínima de Linux, 8 GB pueden funcionar para un modelo de 7B en un contexto breve.

¿Puede una mini PC de 24 GB ejecutar un modelo de 32B?

No correctamente. Un modelo de 32B en el cuarto trimestre pesa aproximadamente 20 GB, lo que deja muy poco para Windows y el caché de contexto. Puede cargarse mediante paginación en el disco, pero la velocidad lo hace poco práctico para el trabajo real.

¿Necesito una GPU para la IA local?

No una discreta. Los gráficos integrados ayudan al descargar algunas capas, pero la capacidad de la memoria importa más que la potencia de los gráficos. Un modelo que cabe en RAM funciona de manera utilizable en una iGPU.

¿Qué velocidad debo esperar?

Interactivo para los modelos 7B–8B, notablemente más lento para los 14B y poco práctico para cualquier cosa que se derrame en el disco. El ancho de banda de la memoria es el factor limitante, no el cálculo máximo.

¿Es la cuantificación del cuarto trimestre lo suficientemente buena?

Para chatear, resumir y redactar, sí, la diferencia de calidad con respecto al octavo trimestre es pequeña. Para generación de código o razonamiento preciso, Q5 o Q6 valen la memoria adicional si la tiene.

¿Windows o Linux para IA local?

Linux, si se siente cómodo con él. Una instalación mínima utiliza entre 1 y 2 GB en lugar de aproximadamente 4 GB, lo que libera suficiente memoria para subir de nivel de modelo en algunas configuraciones.

¿Qué mini PC BMAX es mejor para la IA local?

El B12 Power con 24 GB para modelos de 14B. El B11 Pro con 16 GB tiene la mejor relación calidad-precio para los modelos 7B y 8B que se utilizan en el trabajo diario. El B3 Turbo es suficiente para modelos 3B y experimentación.

Conclusión

La IA local en una mini PC no es una fantasía de hardware, pero tiene un techo, y el techo es la memoria. Con 24 GB puedes ejecutar bien un modelo de 14B. Con 16 GB puedes ejecutar cómodamente un modelo 7B u 8B.Con 8 GB, está ejecutando modelos pequeños para tareas específicas, no un asistente general.

Compre la memoria que necesita ahora, porque está soldada y es permanente. Luego, elija la máquina más silenciosa de ese nivel: se sentará junto a ella mientras piensa.

24 GB, 16 núcleos, modelos 14B. El BMAX B12 Power es el único nivel en el rango que ejecuta un Modelo 14B en el cuarto trimestre con contexto de sobra.

Compra BMAX mini PC

Fuentes

  • Tamaños de peso de modelo: tamaños de archivo GGUF Q4_K_M típicos para modelos de parámetros 3B–70B (por ejemplo, Qwen2.5 y Llama 3.1 familias). Los valores son aproximados y varían según la arquitectura del modelo.
  • Gastos generales: 4 GB para Windows 11, 1 a 2 GB para una instalación mínima de Linux, más 1 a 4 GB de caché KV en un contexto de 8k a 32k.
  • Power y costo: 12,4 W inactivo desde B12 publicado Power medidas; 17 W y 80 W modelados para inferencia mixta y continua; electricidad a 17,45 ¢/kWh, EIA Electric Power Mensual, Enero 2026.
  • Configuraciones y precios de memoria: bmaxbuy.com páginas de productos para B3 Turbo, B7A Plus, B11 Pro y B12 Power, octubre de 2026.

Las cifras de memoria son estimaciones de planificación, no puntos de referencia. Los requisitos reales varían según la arquitectura del modelo, la cuantificación, la longitud del contexto y la pila de software. Todas las mini PC BMAX de esta guía utilizan memoria soldada.

Deja un comentario

Tenga en cuenta que los comentarios deben aprobarse antes de publicarse.