Pular para o conteúdo
🖤 BLACK FRIDAY: Até 63% de desconto! (Gaste mais de US$ 300 e economize até US$ 25) ⏰ Termina em 30 de novembro: 00d 00h 00m 00s
BMAX mini PC running a local AI model with 24GB of memory
Postagem anterior Próxima postagem

Pode um Mini PC Executar IA local? Quanta RAM é necessária para os modelos de 7, 14 e 32 bytes?

Toda interação de IA local começa com o processador. Qual CPU, qual GPU, quantos TOPS. Então o modelo é carregado, a máquina começa a usar o disco para salvar dados, e a verdadeira limitação fica óbvia: sempre foi a memória.

Executar um modelo localmente é, antes de mais nada, um problema de memória. Se os pesos e o cache de contexto não couberem na RAM, a máquina não executa o modelo — ela executa uma aproximação muito mais lenta, utilizando um SSD como memória.

Aqui está o cálculo para os três tamanhos de modelo que as pessoas realmente perguntam — 7B, 14B e 32B — e uma resposta honesta sobre qual deles um mini PC consegue suportar.

Principais conclusões

  • UM O modelo 7B/8B do quarto trimestre precisa de cerca de 10 GB. No total, considerando o Windows e o contexto, 12 GB funcionam bem, 16 GB é confortável.
  • UM O modelo 14B precisa de cerca de 15 GB.. Isso permite acomodar confortavelmente um mini PC de 24 GB e um de 16 GB por pouco.
  • UM O modelo de 32 bits precisa de cerca de 27 GB.. Não há atualmente BMAX O mini PC consegue executá-lo corretamente, pois a memória é soldada com um limite máximo de 24 GB.
  • Q4_K_M é o ponto ideal.: Aproximadamente 40% menor que Q8, com uma pequena perda de qualidade. Abaixo de Q4, a perda torna-se óbvia.
  • A eletricidade não é o problema: um dispositivo de IA sempre ligado custa cerca de US$ 19 a US$ 26 por ano às taxas dos EUA.

A matemática da memória

Bar chart showing memory required by 3B, 7B, 14B, 32B and 70B local AI models, with 16GB and 24GB capacity lines
Pesos do modelo mais a sobrecarga que as pessoas esquecem: Windows e o cache de contexto. As linhas tracejadas representam os dois níveis de memória. BMAX vende.

Três números determinam se um modelo funciona:

  1. Pesos. O próprio arquivo do modelo. No quarto trimestre, aproximadamente 0,65 GB por bilhão de parâmetros — cerca de 4,8 GB para um modelo de 7 bilhões, 9 GB para 14 bilhões e 20 GB para 32 bilhões.
  2. Cache de contexto. A memória de trabalho para a conversa. Ela cresce com o comprimento do contexto; 1–4 GB é típico para 8k–32k tokens.
  3. O sistema operacional. O Windows ocupa cerca de 4 GB antes de qualquer software de IA iniciar. Uma instalação mínima do Linux ocupa de 1 a 2 GB.

Somando tudo, o resultado é bem menos generoso do que o tamanho de download do modelo sugere:

Modelo Pesos do quarto trimestre + SO & contexto mínimo realista BMAX opção
3B 1,9 GB ~7 GB 8 GB B3 Turbo
7B/8B 4,8 GB ~10 GB 12 GB apertado, 16 GB confortável B7A Plus /B11 Pro
14B 9,0 GB ~15 GB 16 GB apertado, 24 GB confortável B12 Power
32B 19.9 GB ~27 GB 32 GB Nenhum — soldado em 24 GB
70B 40 GB ~48 GB 64 GB Nenhum

Os pesos são tamanhos típicos de GGUF Q4_K_M. A sobrecarga pressupõe o Windows mais um contexto de 8k a 32k. Os modelos individuais variam de acordo com a arquitetura, a quantidade de camadas e as configurações de contexto.

O que cabe em qual máquina?

8 GB (B3 Turbo) — Modelos 3B. Assistentes simples, resumidores, tradução. Um modelo 7B será carregado no quarto trimestre, mas não deixa quase nada para o Windows, então ele irá alternar entre plataformas e apresentar lentidão. Use este nível para tarefas específicas, não para um modelo de bate-papo geral.

12 GB (B7A Plus) — 7B no quarto trimestre, apertado. Este é o ponto de partida para um modelo geral utilizável. Espere fechar o navegador enquanto ele estiver em execução e mantenha o contexto conciso.

16 GB (B11 Pro) — Confortável nos tamanhos 7B/8B. O nível de armazenamento adequado para um único modelo local usado em conjunto com o trabalho normal. Um modelo de 14 bytes carregará em Q4, mas você estará a 1-2 GB do limite máximo, que é de onde vêm as travadas e a lentidão nos primeiros tokens.

24 GB (B12 Power) — 14B confortável. Este é o ponto ideal para IA local em um mini PC. Um modelo de 14 bits no quarto trimestre, mais um contexto de 16 kbps, cabe com folga, e você ainda pode manter um navegador aberto.

A limitação honesta: Uma máquina com 24 GB de RAM não consegue executar um modelo de 32 bits adequadamente. Só os pesos ocupam cerca de 20 GB, restando apenas 4 GB para o Windows, o cache de contexto e todo o resto — insuficiente. Pode ser que carregue e produza alguns tokens por segundo usando o disco rígido, mas isso é uma demonstração, não um fluxo de trabalho.

Quantização

Bar chart comparing file sizes of a 14B model at Q8, Q6, Q5, Q4, Q3 and Q2 quantization
O mesmo modelo 14B em seis níveis de quantização. O nível Q4_K_M está destacado porque é onde a maioria das configurações locais se encontra.

A quantização é o que permite que um modelo de 14 bits caiba em 9 GB em vez de 28 GB. Ela reduz a precisão dos pesos — de 16 bits para aproximadamente 4 bits — e o custo em termos de qualidade é menor do que o número sugere, até deixar de ser.

  • Q8_0 (15 GB) — Quase sem perdas, mas dobra a necessidade de memória para uma diferença de qualidade que a maioria das pessoas não consegue perceber na saída de texto.
  • Q6_K/Q5_K_M (10,5–11,5 GB) — um bom meio-termo se você tiver espaço disponível e se importar com código ou escrita de textos longos.
  • Q4_K_M (9 GB) — o padrão por um motivo. Cerca de 40% menor que o Q8, com uma perda pequena, geralmente aceitável.
  • Q3 e abaixo — Degradação perceptível: repetição, raciocínio falho, dificuldade em seguir instruções. Só vale a pena para forçar um modelo a funcionar em uma máquina que, de outra forma, não conseguiria executá-lo.

E quanto à NPU?

Cada núcleo Ultra O mini PC anuncia uma NPU e um número TOPS. Vale a pena entender o que esse número significa e o que não significa para IA local.

A NPU é um acelerador de baixo consumo projetado para cargas de trabalho contínuas e constantes: desfoque de fundo, isolamento de voz e alguns efeitos de foto e vídeo. Ela é eficiente nessas tarefas. O que ela não é, em 2026, é o caminho principal para executar um modelo de linguagem.

  • A maioria dos softwares locais de mestrado em direito (LLM) não utiliza a NPU. Ollama, LM Studio e llama.cpp Executam na CPU e, quando disponível, na GPU. Existem backends de NPU, mas são limitados e específicos para cada modelo.
  • O TOPS não prevê a quantidade de tokens por segundo. A inferência de modelos de linguagem é limitada pela largura de banda e capacidade da memória muito mais do que pela taxa de transferência máxima do acelerador.
  • A NPU ainda importa para videochamadas, e é por isso que esses chips parecem responder bem no trabalho do dia a dia — só não para aquilo para o qual as pessoas os compram.

Portanto, quando uma ficha técnica diz "PC com IA, 40 TOPS", a tradução honesta é: esta máquina possui um acelerador para tarefas em segundo plano e pode executar um modelo de linguagem se tiver RAM suficiente. A RAM é o componente a ser verificado.

expectativas de velocidade

Não vamos citar o número de tokens por segundo, pois isso varia de acordo com o modelo, a quantização, o comprimento do contexto e a versão do driver. O que é consistente:

  • 7B–8B em gráficos integrados A sensação é de interatividade — é rápida o suficiente para bate-papo, rascunho e resumo, mas não é instantânea.
  • 14B tem aproximadamente metade da velocidade. de 7B no mesmo hardware, porque há o dobro de dados para mover.
  • A largura de banda da memória importa mais do que o TOPS. Um modelo que cabe na RAM funciona a uma velocidade utilizável mesmo em uma iGPU modesta; um modelo que usa o disco funciona a uma fração disso, independentemente da velocidade do chip.
  • Um contexto extenso torna tudo mais lento., porque o cache cresce e o trabalho de atenção aumenta a cada token.

Se a prioridade é a velocidade, a resposta é um modelo menor, não um computador maior. Um modelo de 7 GB no quarto trimestre que se encaixe confortavelmente proporcionará uma sensação melhor do que um modelo de 14 GB que está constantemente no limite da capacidade de memória.

Power e calor

Bar chart of electricity cost for an always-on local AI mini PC at idle, two hours a day and continuous inference
O custo anual da eletricidade é de 17,45 centavos de dólar por kWh. Mesmo com consumo contínuo, o custo é de aproximadamente US$ 122 por ano.

Um dispositivo de IA geralmente fica ligado para estar pronto quando necessário. Em modo ocioso, um mini PC consome cerca de 12 W — aproximadamente US$ 19 por ano. Duas horas de inferência por dia consomem em média 17 W, ou US$ 26 por ano. Mesmo executando inferência continuamente, o custo total fica em torno de US$ 122.

Compare isso com o hardware: a diferença entre um modelo de 16 GB e um de 24 GB é de US$ 290. O consumo de energia não é o motivo para escolher um modelo em detrimento de outro — a memória, sim. Esse é o mesmo padrão que encontramos em toda a linha de produtos em nossa pesquisa. teste de consumo de energia.

A questão prática é o calor. A inferência contínua representa uma carga constante em todos os núcleos da CPU, e um chassi compacto fará com que sua ventoinha gire em alta velocidade. Se o computador ficar sobre a sua mesa, um chip de 15 W é muito mais fácil de usar do que um de 45 W — e é por isso que o B11 é tão popular. Pro É um dispositivo de IA razoável, apesar da memória reduzida.

Configuração do software

Você não precisa de uma estrutura para começar. Três ferramentas cobrem a maior parte do processo:

  • Ollama — Linha de comando, um comando por modelo, lida com a quantização automaticamente. A maneira mais rápida de testar o que se ajusta.
  • LM Studio — um aplicativo para desktop com um navegador de modelos e uma interface de bate-papo. Ideal para usuários do Windows que desejam visualizar o uso de memória em tempo real.
  • llama.cpp — o mecanismo subjacente a ambos. Vale a pena usar diretamente se você quiser ajustar o tamanho do contexto e as camadas de descarregamento da GPU.

Duas configurações importam mais do que a ferramenta:

  1. Tamanho do contexto. Reduzir a resolução de 32k para 8k pode liberar de 2 a 3 GB, o que geralmente faz a diferença entre um modelo de 14 bits caber ou não.
  2. Camadas de descarregamento da GPU. Mover algumas camadas para a iGPU libera RAM do sistema e acelera a geração. Mais camadas nem sempre significam melhor desempenho — a VRAM é compartilhada com a memória do sistema nessas máquinas.

Se você se sente confortável com o Linux, execute o modelo lá. Uma instalação mínima deixa de 2 a 3 GB a mais de espaço livre do que o Windows, que em alguns casos corresponde a um modelo completo.Nosso guia para Quanto tempo dura um mini PC? Isso também se aplica: a inferência contínua é a carga de trabalho que envelhece um ventilador mais rapidamente.

Qual BMAX cabe

O que você quer executar Escolha Por que
Assistentes de nível básico (3B), resumo, tradução. B3 Turbo — 8 GB, US$ 219,99 Suficiente para modelos compactos, e a maneira mais barata de experimentar.
Modelos de bate-papo 7B/8B em paralelo ao trabalho normal B11 Pro — 16 GB, US$ 459,99 16 GB oferecem espaço suficiente para o Windows e para um contexto 8K.
Modelos 14B, contexto mais amplo, multitarefa B12 Power — 24 GB, US$ 749,99 O único modelo que executa 14B com tranquilidade; 16 núcleos ajudam no processamento rápido.
32B e acima Não é um mini PC. Você precisa de 32 a 64 GB de memória expansível, o que significa um formato diferente.

Uma observação importante que se aplica a todos os níveis de preço: a memória é soldada em todos esses modelos. Não há possibilidade de upgrade posterior, portanto, a escolha é definitiva. Se você estiver em dúvida entre 16 GB e 24 GB, e o recurso de IA local fizer parte dos seus planos, o modelo com 24 GB ainda será útil daqui a três anos.

Perguntas frequentes

Um mini PC consegue executar IA localmente?

Sim, até cerca de 14 bilhões de parâmetros com quantização Q4 em um modelo de 24 GB. Os modelos de 7 e 8 bilhões funcionam confortavelmente com 16 GB. Qualquer coisa com 32 bilhões ou mais precisa de mais memória do que um mini PC compacto oferece.

De quanta memória RAM preciso para um modelo 7B?

Cerca de 10 GB no total, considerando o Windows e o contexto, portanto 12 GB é o mínimo e 16 GB é um espaço confortável. Com uma instalação mínima do Linux, 8 GB podem ser suficientes para um modelo 7B com uso breve do sistema.

Um mini PC de 24 GB consegue rodar um modelo de 32 bits?

Não exatamente. Um modelo de 32 bits no quarto trimestre tem cerca de 20 GB de pesos, deixando muito pouco para o Windows e o cache de contexto. Pode ser que carregue por paginação para o disco, mas a velocidade torna isso impraticável para trabalho real.

Preciso de uma GPU para IA local?

Não uma placa dedicada. Os gráficos integrados ajudam ao descarregar algumas camadas, mas a capacidade de memória importa mais do que o poder gráfico. Um modelo que caiba na RAM funciona de forma utilizável em uma iGPU.

Qual a velocidade que posso esperar?

Interativo para modelos de 7 a 8 bytes, visivelmente mais lento para 14 bytes e impraticável para qualquer coisa que utilize o disco. A largura de banda da memória é o fator limitante, não o pico de computação.

A quantização Q4 é suficientemente boa?

Para bate-papo, resumos e rascunhos, sim — a diferença de qualidade em relação ao Q8 é pequena. Para geração de código ou raciocínio preciso, o Q5 ou o Q6 valem a memória extra, caso você os tenha disponíveis.

Windows ou Linux para IA local?

Linux, se você se sentir confortável com ele. Uma instalação mínima usa de 1 a 2 GB em vez de cerca de 4 GB, o que libera memória suficiente para migrar para um modelo de nível superior em algumas configurações.

Qual BMAX Um mini PC é a melhor opção para IA local?

A vitamina B12 Power Com 24 GB para os modelos 14B. O B11 Pro Com 16 GB, a opção com melhor custo-benefício é ideal para os modelos 7B e 8B usados ​​tanto para trabalho quanto para o dia a dia. O B3 Turbo É suficiente para modelos 3B e experimentação.

Em resumo

Inteligência artificial local em um mini PC não é uma fantasia de hardware, mas tem um limite, e esse limite é a memória. Com 24 GB, você consegue executar um modelo de 14 bits sem problemas. Com 16 GB, você consegue executar um modelo de 7 ou 8 bits confortavelmente.Com 8 GB, você está executando modelos pequenos e específicos para tarefas, não um assistente geral.

Compre agora a memória que você precisa, pois ela é soldada e permanente. Depois, escolha a máquina mais silenciosa dessa categoria — você ficará sentado ao lado dela enquanto ela processa as informações.

Modelos com 24 GB, 16 núcleos e 14 bits. O BMAX B12 Power É o único nível na gama que executa um modelo 14B no quarto trimestre com contexto de sobra.

Comprar BMAX mini PCs

Fontes

  • Tamanhos dos pesos do modelo: tamanhos típicos de arquivos GGUF Q4_K_M para modelos com 3 a 70 bilhões de parâmetros (por exemplo, as famílias Qwen2.5 e Llama 3.1). Os valores são aproximados e variam de acordo com a arquitetura do modelo.
  • Sobrecarga: 4 GB para o Windows 11, 1 a 2 GB para uma instalação mínima do Linux, mais 1 a 4 GB de cache KV em contextos de 8k a 32k.
  • Power e custo: 12,4 W em modo ocioso a partir da bateria B12 publicada. Power medições; 17 W e 80 W modelados para inferência mista e contínua; eletricidade a 17,45 ¢/kWh, EIA Elétrica Power Mensal, Janeiro de 2026.
  • Configurações e preços de memória: bmaxbuy.com Páginas de produtos para B3 Turbo, B7A Plus, B11 Pro e B12 PowerOutubro de 2026.

Os valores de memória são estimativas de planejamento, não benchmarks. Os requisitos reais variam de acordo com a arquitetura do modelo, a quantização, o comprimento do contexto e a pilha de software. BMAX Os mini PCs mencionados neste guia utilizam memória soldada.

Deixe um comentário

Observe que os comentários precisam ser aprovados antes de serem publicados.