Alguém fez um experimento com um processador de 1997 e mostrou que ele só precisava de 128 MB de RAM para rodar IAs 613hd
Enquanto a inteligência artificial parece estar reservada a máquinas ultrapoderosas, uma demonstração recente prova o contrário 3j1a5w
Pesquisadores conseguiram fazer funcionar um modelo moderno de IA em um computador de 1997, equipado com um simples processador Pentium II e 128 MB de RAM. Essa experiência desafia nossas certezas sobre os requisitos de hardware para IA e abre caminho para uma democratização tecnológica sem precedentes. 6ad6w
O feito foi realizado pela EXO Labs, empresa fundada por Andrej Karpathy, uma referência reconhecida no campo da inteligência artificial, em parceria com pesquisadores da Universidade de Oxford. Por meio de uma abordagem técnica sofisticada, eles conseguiram executar um modelo de linguagem baseado no Llama 2 em um processador Intel Pentium II rodando a apenas 350 MHz, acompanhado por 128 MB de memória RAM. Um ambiente de hardware que, à primeira vista, parece totalmente insuficiente para as demandas da IA contemporânea.
No entanto, o modelo conseguiu funcionar a um ritmo respeitável de 39,31 tokens por segundo, utilizando apenas 260 mil parâmetros. Esse resultado notável deve-se ao uso do BitNet, uma nova arquitetura revolucionária de rede neural. Diferentemente dos modelos tradicionais com precisão de ponto flutuante (float32), o BitNet usa pesos ternários, onde cada peso só pode assumir três valores possíveis (-1, 0, 1). Essa simplificação permite uma compressão extrema do modelo sem perda significativa de desempenho.
Graças ao BitNet, um modelo normalmente volumoso de 7 bilhões de parâmetros pode ser reduzido para apenas 1,38 GB. Isso torna possível sua execução em ...
Matérias relacionadas