Graças aos PCs com IA, as especificações dos computadores em geral estão preparadas para aumentar

A era do “PC AI” está chegando e em breve você terá a opção de executar alguns recursos de IA localmente, sem conexão com a Internet, mesmo em sistemas relativamente modestos. No entanto, o que você pode não perceber é que, apesar de terem aceleradores de IA, esses computadores ainda precisarão de muita memória e armazenamento apenas para oferecer recursos locais de IA.

PCs com IA têm capacidade para processamento local

O recurso Copilot AI da Microsoft é um dos principais motivos pelos quais uma nova geração de computadores com NPUs (Unidades de Processamento Neural) especializadas está chegando ao mercado. Essa é uma das razões pelas quais os novos dispositivos Surface Pro possuem processadores ARM Snapdragon normalmente encontrados em telefones. No momento, o requisito mínimo para um PC Copilot AI é um NPU com 40 TOPS (trilhões de operações por segundo) e é isso que esses novos chips contêm.

Há muitas razões para querer recursos de IA local. É rápido, você não está competindo por recursos com outros usuários e não precisa pagar além do custo do hardware. Dar ao seu laptop a inteligência de algo no mesmo continuum do ChatGPT e seus contemporâneos é definitivamente emocionante!

Mesmo LLMs “pequenos” são enormes

A questão é que esses “modelos” de IA são muito grandes. Os menores e mais eficientes LLMs (Large Language Models) podem precisar de 1 a 3 GB de memória, embora não sejam tão inteligentes. À medida que o modelo ganha parâmetros e se torna mais capaz, ele precisa de mais espaço. Os LLMs superinteligentes que você acessa pela web podem variar em centenas de Gigabytes de RAM no que diz respeito ao tamanho do modelo. Com centenas de bilhões, ou até mais de um trilhão de parâmetros em alguns casos, esses modelos de IA não são para serem executados em pequenos laptops!

Depois temos LLMs pequenos o suficiente para rodar em um smartphone, como phi-3-mini que chega a 2,4 GB. Isso está mais de acordo com o que realmente vai rodar nesses laptops de IA, embora provavelmente não seja tão anêmico!

Os modelos precisam viver na RAM

Holograma de chip AI com circuitos ao redor

Embora um modelo de IA ocupe alguns GB de espaço possa não parecer grande coisa, você precisa entender que todo o modelo precisa estar na RAM para que a tecnologia funcione com bom desempenho. Esses NPUs são processadores paralelos especializados, que processam os números nessas redes neurais virtuais. com bilhões de “parâmetros” ao mesmo tempo.

Se o modelo não estiver na RAM, o NPU não poderá ser alimentado com rapidez suficiente para fornecer resultados rápidos o suficiente. teria impacto na velocidade de resposta de um LLM ou em funções como tradução em tempo real ou geração de imagens. Portanto, se você deseja que os recursos de IA estejam disponíveis com o apertar de um botão ou simplesmente falando com o seu computador, o modelo precisa essencialmente reservar a quantidade de RAM necessária.

Para ter certeza, todos esses novos PCs têm SSDs ultrarrápidos que podem trocar dados para dentro e para fora da RAM rapidamente, mas, além do desgaste adicional que isso causa no seu SSD, ele ainda não é rápido o suficiente para que tudo funcione perfeitamente, e não se esqueça de que você ainda quer executar todos os seus outros aplicativos ao mesmo tempo! Se o seu PC tivesse que despejar seu navegador e outros aplicativos da RAM para o disco toda vez que você quisesse que a IA fizesse algo, não seria uma ótima experiência.

16 GB é o mínimo absoluto

Embora 8 GB de RAM ainda sejam perfeitamente adequados para um desktop ou laptop de escritório moderno usado para produtividade geral e consumo de mídia, os computadores Windows com recursos de IA simplesmente não sobreviveriam com esse pouco espaço. É por isso que a Microsoft tornou 16 GB de RAM o mínimo absoluto para PCs Copilot.

Embora seja uma quantia saudável para um PC normal sem IA, tenho a sensação de que para PCs que executam assistentes de IA locais em segundo plano o tempo todo, será mais como um PC de 8 GB mais IA, a menos que você desabilite a parte de IA do equação.

Alguns PCs de IA não terão RAM atualizável

Se o seu novo PC AI Windows usa um sistema integrado em um chip ou tem sua RAM soldada permanentemente, como é o caso de muitos laptops finos e leves, você ficará preso com qualquer quantidade de RAM que o sistema veio com. O que significa que você precisa obter a quantidade de RAM necessária logo no início, ou acabará precisando de um computador totalmente novo se descobrir que fez as contas erradas.

Há algum tempo, analisei se 32 GB de RAM não era a quantidade a ser almejada, e minha conclusão foi que essa quantidade de memória ainda era um exagero para usuários comuns. No entanto, com os tamanhos futuros de modelos de IA em mente, acho que 32 GB deve ser o que qualquer um que se importe com esses recursos de IA deve almejar.

Se você se preocupa com IA, obtenha mais memória

Se você se importa com os recursos locais de IA é, claro, o que realmente importa aqui. Se não se importa, então é ótimo que esses PCs Copilot estejam aumentando o mínimo de RAM para 16 GB. Basta desabilitar ou ignorar a parte de IA da equação e você ficará bem. Na verdade, a menos que você tenha algum motivo alternativo convincente, pule esses PCs de IA completamente e fique com uma opção mais convencional.

Se, por outro lado, você está entusiasmado com os recursos locais de IA e vê muitas maneiras de usar essas ferramentas no futuro, não se contente com o requisito mínimo, a menos que tenha a opção de adicionar mais RAM posteriormente.