Mais

    Seu PC não consegue lidar com o novo modelo Llama AI da Meta (provavelmente)

    A Meta lançou o Llama 3.3 70B, uma versão modificada do modelo de IA mais poderoso da empresa que pode ser baixado para rodar em seu próprio hardware. Seu PC provavelmente não está pronto para isso.

    Como muitos outros modelos de linguagem grande (LLMs), o modelo de IA generativo Llama da Meta está disponível em vários tamanhos de parâmetros para diferentes casos de uso. Por exemplo, o menor modelo Llama 3.2 1B pode lidar com tarefas básicas com desempenho rápido em um smartphone médio, enquanto as versões maiores 11B e 90B são mais poderosas e precisam de PCs e servidores de última geração. Os modelos Llama destinam-se principalmente à funcionalidade de texto e bate-papo, mas algumas versões também podem compreender imagens.

    O novo modelo Llama 3.3 70B da Meta deve oferecer o mesmo desempenho do maior modelo da empresa, a versão 405B, mas com capacidade de rodar em mais PCs e servidores. O vice-presidente de IA generativa da Meta disse em uma postagem na mídia social: “Ao aproveitar os mais recentes avanços em técnicas pós-treinamento, incluindo otimização de preferências online, este modelo melhora o desempenho principal a um custo significativamente mais baixo”.

    Mesmo que este novo modelo 70B seja significativamente reduzido em relação à versão 405B original, você ainda precisará de um PC ou servidor robusto para executá-lo localmente com desempenho aceitável. O tamanho do arquivo é 37,14 GB e os LLMs geralmente precisam caber na RAM para funcionar bem, então você provavelmente precisará de uma máquina com 64 GB de RAM. Você também precisaria de uma GPU poderosa (ou várias emparelhadas) para executar o modelo.

    A descrição do modelo explica: “O Llama 3.3 destina-se ao uso comercial e de pesquisa em vários idiomas. Os modelos somente de texto ajustados com instruções destinam-se a bate-papo semelhante a um assistente, enquanto os modelos pré-treinados podem ser adaptados para uma variedade de tarefas de geração de linguagem natural. O modelo Llama 3.3 também suporta a capacidade de aproveitar os resultados de seus modelos para melhorar outros modelos, incluindo geração e destilação de dados sintéticos.”

    Mesmo que o Llama 3.3 70B não funcione na maioria dos hardwares de computação, você pode executar os menores 1B, 3B e 8B em muitos desktops e laptops com aplicativos como LM Studio ou Bate-papo da Nvidia com RTX. Meu Mac Mini M1 de 16 GB executa o Llama 3.1 8B em velocidades semelhantes aos chatbots de IA baseados em nuvem, mas eu uso modelos 3B menores com meu MacBook Air de 8 GB, pois tenho menos RAM disponível.

    Você pode baixar o Llama 3.3 70B e os outros modelos do Lama em Site da Meta, Abraçando o rostoa pesquisa integrada no LM Studio e outros repositórios.

    Fonte: TechCrunch

    Recent Articles

    spot_img

    Related Stories

    DEIXE UMA RESPOSTA

    Por favor digite seu comentário!
    Por favor, digite seu nome aqui

    Stay on op - Ge the daily news in your inbox