Durante a conferência TechFieldDay, Brandon Royal, Gerente de Produtos do Google Cloud Services
, trouxe dados sobre diferentes cargas de trabalho em IA, apontando que processadores são os maiores responsáveis por inferências. Atualmente, as GPUs são responsáveis, principalmente, pelo processamento de treinamento dos modelos de linguagem ( LLM
).

Segundo Royal, implantação de infraestruturas baseadas em GPUs ou CPUs por novas empresas deve depender de quais tarefas de IA serão mais benéficas para suas operações e otimizações de fluxo. Com isso, soluções em escala devem começar a ganhar força nos próximos meses, desacelerando um pouco a adoção de produtos focados amplamente em GPUs, como os aceleradores NVIDIA H100
.

I was pleasantly surprised to hear @GoogleCloud
validate my research that most AI inferencing is done on CPU vs. GPUs. #AIFD4
@Intellbusiness
pic.twitter.com/b2vXNS7bYh

–
Canaltech no Youtube: notícias, análise de produtos, dicas, cobertura de eventos e muito mais! Assine nosso canal no YouTube
, todo dia tem vídeo novo para você!
–

— Keith Townsend (@CTOAdvisor) February 27, 2024

Recursos subutilizados

Considerando o cenário atual, é praticamente certo que empresas de todos os tamanhos vão precisar adotar IA até certo ponto
em seus processos para se manterem competitivas. A Era da IA já está criando uma pressão para que essa nova tecnologia
passe a ser vista como um investimento, não apenas necessário, como urgente.

No entanto, produtos diferentes implicam em possibilidades mais ou menos amplas de aplicações, além de exigirem soluções bastante distintas. Enquanto modelos de IA como GPT-4
e Gemini podem chegar a operações com trilhões de parâmetros, eles seriam muito pouco aproveitados por uma empresa que precisa apenas de uma assistente de IA para otimizar gerenciamento de documentos, agendas, filtragem de tarefas e pequenas inferências via chatbots personalizados.

Learn more about the AMD Instinct MI300 and how it was carefully designed to layer computing, memory, and communication in this breakdown from @IEEESpectrum
: https://t.co/BVh5akmJwv

— AMD (@AMD) December 14, 2023

Tanto por isso, faz muito pouco sentido adotar um modelo extremamente robusto e, acima de tudo, exigente em termos de hardware
. Sendo assim, adotar um modelo de IA como o Mistral
, também permite adotar uma infraestrutura baseada nos novos processadores Xeon
, ou mesmo nas APUs AMD MI300
, possibilitando um investimento inicial reduzido, se comparado aos superchips GH200, além de um custo total de operação também reduzido.

Leia a matéria no Canaltech
.

Trending no Canaltech: