Samsung procura reduzir o custo dos tokens de IA, tirando mais partido da memória dos servidores

Mais pedidos de IA sem acrescentar GPUs

A Samsung Electronics desenvolveu um método para processar mais pedidos simultâneos em servidores de inteligência artificial, alterando a forma como estes atribuem memória e transferem dados entre processadores. Um pedido de patente publicado descreve um software que pondera os tempos de espera, os custos de transferência e as necessidades futuras de memória para decidir que pedidos um modelo de linguagem de grande dimensão deve processar primeiro.

O objetivo é reduzir os atrasos quando a memória das unidades de processamento gráfico (GPU) fica cheia, permitindo que os servidores existentes atendam mais pessoas. A Samsung apresenta a invenção como uma tecnologia de infraestrutura para inferência de IA, o processo de execução de um modelo treinado para responder a perguntas, e não como uma funcionalidade de um produto de consumo específico.

Outra investigação da Samsung dá uma ideia concreta das potenciais poupanças decorrentes de uma melhor gestão da memória. Numa experiência de armazenamento separada, com oito GPUs NVIDIA H100 NVL e dez unidades de estado sólido da Samsung, a empresa manteve o tempo de espera pelo primeiro token de saída abaixo de um segundo, até 240 utilizadores simultâneos. Sem descarregamento de dados para armazenamento, esse tempo começou a aumentar acima dos 140 utilizadores.

A patente, a experiência de armazenamento e outro projeto da Samsung SDS abordam diferentes aspetos do mesmo problema: os dispendiosos processadores de IA podem passar demasiado tempo a transferir ou reconstruir informação. Para os operadores, reduzir esse trabalho poderá significar mais respostas com o equipamento existente e um custo inferior por token, as pequenas unidades de texto que os modelos de linguagem processam e geram.

Porque é que a memória pode atrasar uma resposta

Uma GPU executa muitos cálculos em simultâneo, o que a torna útil para gerar respostas de IA. No entanto, a sua memória local rápida tem capacidade limitada. Várias conversas competem por esse espaço, sobretudo quando os utilizadores enviam documentos longos ou fazem perguntas que exigem respostas extensas.

Os modelos de linguagem mantêm registos temporários de cálculos anteriores numa estrutura chamada cache de chave-valor, geralmente abreviada para cache KV. Pode ser comparada a apontamentos de trabalho: guardá-los permite ao modelo continuar uma resposta sem voltar a calcular repetidamente tudo o que já processou.

A experiência de armazenamento da Samsung exigiu cerca de 3 GB de cache KV por sessão. Em 240 sessões, isso equivale a aproximadamente 720 GB de dados em cache em toda a carga de trabalho. Este valor ajuda a explicar por que motivo servir muitas pessoas pode tornar-se um problema de memória, mesmo quando está instalada uma capacidade de processamento considerável.

Quando a memória rápida da GPU escasseia, um servidor pode transferir alguns dados para a memória associada à unidade central de processamento (CPU) e trazê-los de volta quando necessário. Estas transferências demoram tempo. Reconstruir cálculos descartados também consome recursos. A patente da Samsung centra-se numa gestão mais criteriosa desta concorrência.

Como funciona o método de escalonamento patenteado

O pedido da Samsung, intitulado Method and Server for Processing Multiple User Requests of a Large Language Model, descreve um escalonador que tem em conta o custo de processar cada pedido. Entre os dados considerados estão o tempo de espera do utilizador, o tempo necessário para transferir dados e a quantidade de memória de que o pedido precisará.

O servidor usa esses cálculos para escolher a ordem de processamento. Isto é importante porque um pedido que parece estar pronto a executar pode exigir primeiro uma transferência substancial, enquanto outro poderá usar dados que já estão próximos. Coordenar estas escolhas pode reduzir o tempo gasto a reorganizar a memória.

O método também verifica se a informação anteriormente transferida para a memória da CPU continua disponível. Se existir uma cópia utilizável, o servidor pode transferir apenas as partes necessárias, em vez de voltar a copiar tudo. Pode também transferir dados para um utilizador enquanto a GPU gera a resposta de outro, permitindo sobrepor trabalho útil e preparação.

A Samsung descreve ainda a utilização de memória parcialmente disponível. Se um novo pedido precisar de cinco unidades de espaço, mas só houver três livres, o sistema pode iniciar a parte que cabe, em vez de esperar pelas cinco. O objetivo prático é manter os recursos limitados produtivos nos períodos de maior procura. Não foram divulgados pormenores sobre a implementação comercial nem melhorias medidas no tempo de resposta e no débito deste método patenteado.

O que a Samsung mediu com o descarregamento para armazenamento

O livro branco sobre a cache KV da Samsung Electronics analisa uma abordagem diferente: manter dados reutilizáveis da cache em unidades de estado sólido NVMe. NVMe é uma tecnologia que permite aos dispositivos de armazenamento comunicar rapidamente com um computador através de ligações PCIe.

O teste usou oito GPUs NVIDIA H100 NVL, oito serviços paralelos de inferência LLaMA-3.1 8B, o software de serviço vLLM e o LMCache, uma camada de código aberto que gere dados reutilizáveis da cache KV. Dez unidades Samsung PM1753 foram agrupadas numa matriz RAID-0, que distribui os dados pelas unidades para aumentar o desempenho de transferência.

A Samsung mediu cargas de utilizadores em incrementos de 20, até chegar a 280 utilizadores simultâneos. Cada utilizador enviava uma consulta a cada 20 segundos, gerando uma carga de trabalho entre uma e 14 consultas por segundo. A experiência testou, assim, um padrão definido de pedidos repetidos e movimentação de dados em cache.

A abordagem de armazenamento é útil quando uma sessão muda de GPU. A GPU de destino pode recarregar cálculos guardados, em vez de repetir o processamento inicial de um pedido longo. Numa mesma máquina, a cache externa pode ser mantida na memória da CPU ou no armazenamento. Entre máquinas, explica a Samsung, a cache precisa de um recurso partilhado acessível aos servidores relevantes.

Arranques mais rápidos e mais texto gerado

A Samsung mediu dois aspetos do desempenho do serviço: o tempo até ao primeiro token e os tokens por segundo. O primeiro mede quanto tempo uma pessoa espera até começar a surgir uma resposta. O segundo mede a quantidade de texto que o sistema produz ao longo do tempo.

Com o descarregamento para armazenamento ativado, o teste manteve o tempo até ao primeiro token abaixo de um segundo até aos 240 utilizadores simultâneos, ao passo que, sem descarregamento, a latência começou a aumentar acima dos 140 utilizadores. A Samsung descreve o resultado como a capacidade de suportar 1,7 vezes mais utilizadores com uma latência comparável. No intervalo entre 20 e 140 utilizadores, a configuração com descarregamento manteve o tempo de espera inicial em cerca de meio segundo.

Com 240 utilizadores, o sistema com descarregamento gerou aproximadamente 1,5 vezes mais tokens de saída. A configuração sem descarregamento começou a saturar por volta dos 160 utilizadores, enquanto o sistema que reutilizava a cache guardada continuou a aumentar a produção à medida que a procura crescia.

A Samsung atribui o ganho à redução do processamento repetido dos pedidos. Primeiro, um modelo de linguagem processa a entrada, numa fase conhecida como prefill; depois, gera a resposta token a token, numa fase chamada decode. Reutilizar cálculos guardados deixa mais capacidade da GPU disponível para produzir respostas.

Quando o armazenamento adicional compensa

A análise de custos da Samsung mostra que o hardware adicional tem um preço, mesmo quando melhora a eficiência com uma procura elevada. No intervalo entre zero e 160 utilizadores simultâneos, ambas as configurações ofereceram um débito de tokens semelhante, enquanto a configuração com descarregamento custou cerca de mais 4% devido aos componentes NVMe adicionais.

Acima dos 180 utilizadores, o maior volume de saída compensou o custo adicional do armazenamento. Com 240 utilizadores, a Samsung calculou uma eficiência de custos cerca de 1,5 vezes superior, medida em tokens por segundo por dólar ao longo de um período de funcionamento de três anos.

Por outras palavras, uma melhoria de 1,5 vezes na produção por dólar corresponde a uma redução de cerca de um terço no custo por unidade de produção, segundo esse cálculo. A comparação diz respeito ao equipamento e à carga de trabalho testados pela Samsung. A economia real de um serviço também depende do modelo, da duração das conversas, do tráfego e do custo do equipamento.

Para um operador de serviços na nuvem, a escolha prática depende, por isso, da procura. O armazenamento adicional pode aumentar a fatura inicial quando a capacidade de GPU existente já dá conta da carga de trabalho sem dificuldades. Perante congestionamento persistente, reutilizar a cache pode permitir que a mesma instalação de GPUs suporte mais atividade antes de ser necessário outro servidor.

Poupança de energia também nas ventoinhas de arrefecimento

A Samsung mediu também um menor consumo de eletricidade na experiência de armazenamento. Com 240 utilizadores, o desempenho por watt melhorou cerca de 2,9 vezes. O consumo total do sistema caiu para aproximadamente 53% do valor da configuração sem descarregamento, uma redução de cerca de 47%.

Segundo o livro branco, as unidades NVMe adicionais aumentaram o consumo de energia em cerca de 6%. A menor procura de energia da GPU e do sistema de arrefecimento compensou largamente esse aumento. A Samsung registou uma utilização da GPU de cerca de 49%, à medida que a carga de trabalho deixou de repetir os intensivos cálculos de prefill.

As ventoinhas de arrefecimento refletiram essa mudança. Sem descarregamento, todas as ventoinhas do sistema funcionavam à velocidade máxima prevista de 15 000 rotações por minuto. Com descarregamento, as ventoinhas da CPU, da memória e do armazenamento funcionavam a cerca de 7 800 rotações por minuto, enquanto as do lado da GPU funcionavam a aproximadamente 9 800.

O resultado ilustra como um componente pode aumentar localmente a procura de eletricidade e, ainda assim, reduzir o consumo global de um servidor. Nesta experiência, gastar energia para recuperar cálculos guardados reduziu o maior consumo de energia associado à repetição de cálculos e à dissipação do calor resultante.

O armazenamento tem de suportar picos de atividade

As medições da Samsung também mostram que esta abordagem exige mais do que capacidade disponível nas unidades. O débito agregado médio do armazenamento chegou a 37 GB por segundo, e pedidos simultâneos das GPUs podiam elevar os picos de procura para quase o dobro da média.

O número de operações de armazenamento em curso situava-se normalmente em cerca de 160, mas podia atingir 800. A Samsung recomenda uma largura de banda de armazenamento de, pelo menos, o dobro da necessidade média, para absorver esses picos e manter a capacidade de resposta.

A PM1753 tem um débito sequencial especificado de até 14,5 GB por segundo e 3,3 milhões de operações de leitura aleatória por segundo. Na carga de trabalho testada, as leituras representaram cerca de 92% da atividade de armazenamento e as escritas, 8%. O LMCache transferiu grandes blocos de cache com aproximadamente 33 MB.

Vários serviços a ler blocos grandes em simultâneo podem criar um fluxo intercalado de pedidos. Por isso, um subsistema de armazenamento tem de manter o desempenho de transferência quando muitos utilizadores ficam ativos ao mesmo tempo. A capacidade da cache, a velocidade de transferência e o escalonamento contribuem para determinar se a informação guardada chega à GPU com rapidez suficiente para ser útil.

A Samsung SDS leva o processamento para a memória

A Samsung SDS está a abordar a movimentação de dados por outra via. O seu artigo sobre a investigação PAISE descreve o PIM-Accelerated Inference Scheduling Engine, apresentado na IEEE HPCA 2025. O PAISE utiliza processamento em memória (PIM), que coloca unidades de cálculo dentro dos chips de memória, permitindo executar alguns cálculos junto dos dados armazenados.

A Samsung SDS implementou e validou o sistema no hardware PIM Aquabolt-XL da Samsung, avaliando modelos GPT-2, OPT e Llama2. A empresa refere uma melhoria de até 48,3% na velocidade de inferência e uma redução do consumo de energia de cerca de 11,5%.

O PAISE decide que operações devem ser executadas na memória e organiza os dados de acordo com o hardware. Também agrupa pequenos cálculos de atenção para que possam ser executados com maior eficiência em paralelo. A Samsung SDS refere atualizações mais rápidas da cache KV e ganhos mais expressivos com lotes maiores, ou seja, grupos de pedidos processados em conjunto.

Os três projetos atuam em diferentes pontos do servidor. A patente escalona pedidos e transferências entre a memória da GPU e a da CPU. A experiência de armazenamento conserva a cache nas unidades para reutilização posterior. O PAISE transfere cálculos selecionados para o hardware de memória. Em conjunto, mostram que a Samsung está a explorar várias formas de reduzir o tempo e a energia gastos a transferir ou reconstruir a informação que sustenta as respostas de IA.

Principais conclusões

• O pedido de patente publicado pela Samsung escalona pedidos de IA com base nos tempos de espera, nos custos de transferência e nas necessidades previstas de memória.
• O método patenteado pretende servir mais utilizadores com as GPUs existentes; não foram divulgados dados de desempenho comercial.
• Um teste de armazenamento separado da Samsung suportou 240 utilizadores simultâneos, com um tempo de espera pela resposta inicial inferior a um segundo, em comparação com o aumento da latência acima dos 140 utilizadores sem descarregamento.
• Com 240 utilizadores, o descarregamento para armazenamento proporcionou cerca de 1,5 vezes mais tokens de saída e eficiência de custos, além de um desempenho por watt 2,9 vezes superior.
• O armazenamento adicional aumentou os custos em cerca de 4% com cargas mais leves, tornando a procura um fator importante no cálculo económico.
• A Samsung SDS refere que o seu sistema PAISE, um projeto separado, melhorou a velocidade de inferência em até 48,3%, recorrendo ao processamento dentro da memória.