Aceleradora PCIe de 240 W roda LLM de 700B e ameaça Nvidia

Placa da Skymizer prova que hardware “antigo” ainda tem muito fôlego na IA

Skymizer – a companhia taiwanesa apresentou recentemente uma aceleradora PCIe que executa modelos de linguagem com até 700 bilhões de parâmetros localmente, consumindo apenas 240 W e recorrendo a chips de 28 nm e memória DDR4.

• Em resumo: solução de US$ 1.500 desafia H100 e MI300 ao unir baixo consumo e suporte a LLMs gigantes.

Velocidade de IA sem depender de litografias de ponta

A placa emprega quatro ASICs de 28 nm, cada um com 16 GB de DDR4-3200, totalizando 64 GB. Segundo a empresa, isso é suficiente para carregar modelos de 700B em modo 4-bit, entregando 150 TFLOPS a 240 W. Para efeito de comparação, a Nvidia H100, referência do mercado, exige cerca de 350 W para atingir 80 FP16 TFLOPS.

“Nosso foco é inferência de grande escala com TCO baixo; não precisamos da litografia de 5 nm para isso”, afirmou o CEO da Skymizer durante a apresentação em Taipei.

Impacto no mercado e possíveis aplicações

A estratégia mira data centers que desejam rodar LLMs localmente, evitando custos de nuvem e latência. Além disso, o uso de DDR4 barateia a produção em até 60 %, pois módulos estão amplamente disponíveis desde 2014. Especialistas lembram que AMD e Nvidia concentram esforços em HBM, encarecendo o GB de memória. Se ganhar escala, a abordagem da Skymizer pode inaugurar uma nova categoria de “IA frugal”, alinhada ao movimento Green AI descrito pela MIT Technology Review.

O que você acha? A solução da Skymizer tem potencial para democratizar IA avançada? Para mais análises sobre hardware de alto desempenho, acesse nossa editoria especializada.

---

Crédito da imagem: Divulgação / Skymizer