Alibaba Cloud reduz o uso de GPUs Nvidia com o sistema de pooling Aegaeon

Dentro do Aegaeon, como a Alibaba Cloud reduziu a necessidade de GPUs para IA

A Alibaba Cloud afirma ter reduzido acentuadamente o número de processadores gráficos da Nvidia necessários para servir modelos de linguagem em grande escala, graças a um novo sistema chamado Aegaeon. Num beta de produção no seu mercado de modelos, a empresa relata que o Aegaeon reduziu o número de GPUs Nvidia H20 necessários para lidar com dezenas de modelos, incluindo modelos com até 72 mil milhões de parâmetros, de 1.192 para 213. Isso representa uma redução de 82 por cento nos aceleradores em serviço para o mesmo nível de serviço. Os resultados foram apresentados no Symposium on Operating Systems Principles em Seul, um dos principais palcos de investigação em sistemas informáticos. Para os compradores de cloud, a afirmação traduz-se em potenciais poupanças em custos e energia, melhor disponibilidade de chips escassos e uma experiência mais consistente ao invocar diferentes modelos através da mesma plataforma.

A conquista visa um ponto de dor crescente na era dos mercados de modelos. Os prestadores de cloud servem hoje milhares de modelos aos programadores de uma só vez. Alguns poucos modelos, como a família Qwen da Alibaba e o modelo aberto DeepSeek, recebem a maior parte do tráfego. Muitos outros ficam inativos durante longos períodos e depois recebem breves rajadas de pedidos. As pilhas de serviço tradicionais dedicam GPUs completas ou grandes fatias de GPU a cada instância de modelo. Quando um modelo está inativo, a sua GPU reservada fica subutilizada. Quando chegam pedidos sem réplicas quentes suficientes, a plataforma gera capacidade e paga o preço em tempo de carregamento e menor débito. O Aegaeon tenta reescrever esta equação ao agrupar recursos de GPU entre muitos modelos e agendar o trabalho em fatias temporais mais finas, de modo a manter cada acelerador ocupado.

A Alibaba Cloud apresenta o Aegaeon como uma forma de servir cargas de trabalho de LLM concorrentes sem desperdício. O sistema combina um agressivo agendamento multimodelo com mecanismos para manter a memória quente e alternar trabalho entre modelos com o mínimo de atraso. O resultado, segundo a equipa de investigação da Universidade de Pequim e da Alibaba Cloud, é maior débito, menor espera em fila e menos chips parados em serviços de baixa utilização.

Que problema foi o Aegaeon construído para resolver?

As plataformas de IA modernas enfrentam uma longa cauda de procura. Um pequeno conjunto de modelos populares atrai a maior parte do tráfego de inferência. Os modelos menos populares continuam a ser relevantes para os programadores, mas recebem pedidos esporádicos. A Alibaba Cloud mediu que 17,7 por cento das GPUs no seu mercado tinham sido atribuídas para servir apenas 1,35 por cento dos pedidos. Com os modelos presos a aceleradores dedicados, a cloud acaba por pagar pelo tempo ocioso e pelas frequentes arranques a frio, especialmente quando os padrões de tráfego são em rajadas ou imprevisíveis.

Servir inferência parece simples do exterior, mas o interior é intrincado. Um modelo de grande linguagem mantém pesos e estado de execução na memória da GPU. Durante a geração, o sistema mantém uma cache chave-valor que armazena ativações intermédias para os tokens já produzidos. Carregar os pesos do modelo a partir do disco ou através da rede é lento. Aquecer a cache chave-valor demora tempo. Alternar uma GPU de um modelo para outro significava tradicionalmente descarregar e recarregar com custos elevados. Essa sobrecarga desencorajava a partilha frequente, o que mantinha a maioria dos aceleradores dedicados a um ou dois modelos no máximo. O Aegaeon foi concebido para gerir estas transições de forma muito mais eficiente, de modo a que as GPU possam partilhar tempo entre muitos modelos sem uma penalização pesada.

Como funciona o sistema

O Aegaeon é uma pilha de serviço multimodelo que trata a GPU como um pool partilhado e decide o que executar com granularidade muito fina. Em vez de escalar ao nível do pedido ou ao nível da réplica do modelo, toma decisões por token. O agendador pode intercalar a geração de tokens para diferentes utilizadores e diferentes modelos na mesma GPU, mantendo as estruturas de dados de alto valor prontas em memória. O objetivo é maximizar o trabalho útil por segundo sem prejudicar o tempo de resposta para além de um orçamento apertado.

Autoescalagem ao nível do token

A ideia central é escalar a capacidade ao nível do token. Isso significa que o Aegaeon pode iniciar o serviço de um pedido para um modelo e, depois, agendar oportunisticamente tokens para outro modelo quando há margem, tudo dentro do mesmo agrupamento e lançamentos de kernels. O artigo refere que o Aegaeon sustentou taxas de chegada de pedidos 2 a 2,5 vezes superiores, ou entregou entre 1,5 e 9 vezes mais goodput, em comparação com pools alternativos que apenas multiplexam dois ou três modelos por GPU. Ao operar à resolução de token, o sistema evita as longas pausas associadas ao arranque de novas réplicas e pode responder rapidamente a picos em qualquer modelo.

Reutilização de memória e coordenação da cache KV

O Aegaeon reduz a sobrecarga ao reutilizar componentes, gerir a memória explicitamente e sincronizar a cache chave-valor entre modelos a um nível fino. Os investigadores afirmam que isto reduz a sobrecarga de autoescalagem em 97 por cento em comparação com abordagens ingênuas. Com uma gestão de memória e de cache mais inteligente, a mesma GPU pode manter vários modelos prontos a executar sem recarregamentos constantes. Isso permite que um acelerador suporte até sete modelos em simultâneo, contra um limite típico de dois ou três em sistemas multimodelo anteriores.

Resultados medidos no beta de produção

A Alibaba Cloud afirma ter testado o Aegaeon em beta no seu mercado de modelos durante mais de três meses. A implementação serviu dezenas de modelos, incluindo modelos com até 72 mil milhões de parâmetros. Nesse período, a equipa relata que as GPUs necessárias para satisfazer a mesma carga de serviço desceram de 1.192 unidades Nvidia H20 para 213, resultando numa poupança de recursos de 82 por cento. O sistema reduziu também em 97 por cento a penalização de latência ao alternar entre modelos, o que ajuda quando as cargas de trabalho alternam entre modelos populares e de longa cauda ao longo do dia.

O ambiente do mercado é um banco de ensaio forte porque reflete concorrência do mundo real, uma mistura de tamanhos de pedidos e uma vasta gama de modelos. Neste contexto, o Aegaeon manteve os aceleradores mais ocupados, reduziu o tempo ocioso em serviços raramente utilizados e preservou a capacidade de resposta nos modelos de alta procura através de agendamento com granularidade mais fina. A combinação de agendamento por token e reutilização cuidadosa de memória parece ser a chave para obter mais trabalho útil por hora de GPU.

A equipa de investigação da Universidade de Pequim e da Alibaba Cloud argumentou que a prática da indústria estava a deixar dinheiro em cima da mesa ao dedicar GPUs a modelos com procura esporádica. Apresentaram a sua conclusão diretamente no artigo.

Aegaeon is the first work to reveal the excessive costs associated with serving concurrent LLM workloads on the market.

Essa afirmação alinha-se com padrões observados nos mercados de modelos. Os prestadores reconhecem há muito que a longa cauda ocupa capacidade e faz subir os custos para todos. A abordagem do Aegaeon demonstra que um design de agendamento e memória afinado para serviço multimodelo pode atacar esse desperdício.

O que significa para clientes cloud e programadores

Para os clientes, menos GPUs por unidade de débito pode traduzir-se em preços mais baixos, melhores quotas e desempenho mais previsível. Se uma cloud consegue servir o mesmo tráfego com aproximadamente um quinto dos aceleradores, pode libertar capacidade para eventos de pico e encurtar listas de espera para novas implementações. Programadores que combinam vários numa única aplicação também poderão ver menos pontos de estrangulamento devido a arranques a frio e à rotação de réplicas quando o tráfego se desloca entre pontos de extremidade.

Existem preocupações práticas que importam aos compradores. A partilha multimodelo tem de preservar o isolamento de modo a que a carga de trabalho de um locatário não possa degradar a experiência nem verter dados para outro. O agendador tem de respeitar regras de prioridade e equidade para que os modelos populares mantenham a sua latência responsiva enquanto os modelos mais lentos continuam a progredir. O artigo indica que as escolhas por token do Aegaeon são concebidas tendo em mente objetivos de qualidade de serviço. Ainda assim, as cloud necessitarão de observabilidade robusta e limitação de taxa para manter a latência de cauda sob controlo à medida que ampliam o pooling a frotas maiores.

Nvidia, China e o contexto dos chips de IA

O Aegaeon surge em meio a uma oferta global apertada de aceleradores de alto nível e a contínuos controlos de exportação de chips avançados de IA para a China. A Nvidia construiu o H20 para o mercado chinês para cumprir essas regras, e muitos prestadores chineses dependem desse dispositivo para inferência. Ao mesmo tempo, projetistas chineses como a Huawei e a Cambricon estão a investir em alternativas nacionais. A eficiência de software que permite a cada GPU servir mais trabalho é valiosa em qualquer mercado, mas é especialmente útil onde o acesso aos chips mais avançados está condicionado.

A liderança da Nvidia comunicou que as suas orientações financeiras de curto prazo assumem receitas mínimas ou nulas do segmento de chips avançados da China devido a limites de política. Esse contexto torna os resultados da Alibaba Cloud mais relevantes. Se os grandes prestadores conseguirem estender a sua base instalada através de software, podem continuar a escalar serviços mesmo quando a oferta de aceleradores de primeira linha é limitada.

Como o Aegaeon se compara com outras abordagens

Até há pouco tempo, a maioria dos sistemas de serviço multimodelo só conseguia multiplexar com segurança dois ou três modelos numa GPU antes de as sobrepesas superarem os benefícios. Cada modelo adicional acrescentava mais trocas de contexto, mais falhas de cache e mais risco de jitter que pode quebrar alvos de latência. O design do Aegaeon concentra-se em encolher esses custos de comutação e em manter as estruturas de dados centrais residentes entre modelos, e é por isso que um acelerador pode agora sustentar até sete modelos nas condições referidas.

As instâncias dedicadas continuam a ser apropriadas para pontos de extremidade de débito muito elevado ou para cargas de trabalho com requisitos estritos de isolamento. No extremo oposto, a inferência sem servidor que gera réplicas completas de modelos a pedido pode ser económica para modelos de baixo tráfego, mas sofre de tempos de arranque mais longos. O Aegaeon segue um caminho intermédio. Agrupa a capacidade e mantém os modelos prontos, agendando depois o trabalho em pequenas fatias para que a utilização geral aumente sem um compromisso de latência acentuado.

Perguntas técnicas em aberto e próximos passos

O beta decorreu no mercado de modelos da Alibaba Cloud, um ambiente substancial mas não a totalidade da presença do serviço. Implementar o Aegaeon em mais regiões e em linhas de produtos variadas, como clusters dedicados empresariais ou pilhas on-premises, testaria o design sob diferentes restrições. Outra questão é como o agendador se comporta à medida que os modelos crescem em comprimento de contexto e que os modelos multimodais misturam linguagem com visão e áudio. Esses cenários pressionarão as políticas de memória e cache de novas formas.

Existe também um caminho de investigação na partilha entre aceleradores heterogéneos e entre nós. Se um agendador conseguir agrupar não apenas uma GPU, mas um conjunto de GPUs através de uma fabric, poderá desbloquear ganhos adicionais, desde que a sobrecarga de interligação se mantenha baixa e a colocação da memória permaneça previsível. As evidências publicadas até agora apontam para grandes ganhos no pooling de dispositivo único, o que já constitui um avanço prático importante para as atuais cargas de trabalho de inferência.

Dados rápidos

• O Aegaeon reduziu as GPUs para o serviço de mercado da Alibaba Cloud de 1.192 unidades Nvidia H20 para 213, uma queda de 82 por cento.
• O sistema serviu dezenas de modelos, incluindo modelos com até 72 mil milhões de parâmetros, durante um beta de mais de três meses.
• Uma única GPU suportou até sete modelos nos testes referidos, contra dois ou três nos sistemas anteriores.
• O agendamento por token, a reutilização de memória e a sincronização da cache chave-valor reduziram a sobrecarga de autoescalagem em 97 por cento.
• Os experimentos mostraram taxas de chegada 2 a 2,5 vezes superiores sustentadas, ou 1,5 a 9 vezes mais goodput, em relação às alternativas.
• A abordagem visa o problema da longa cauda nos mercados de modelos, onde uma minoria de pedidos ocupa uma grande quota das GPUs.
• Os resultados chegam num momento em que os controlos de exportação limitam o acesso a chips avançados de IA na China e em que os esforços nacionais de GPU se aceleram.