Samsung alarga a estratégia de memória para IA com HBM5, agrupamento de memória com a AMD e armazenamento mais rápido

Samsung coloca a capacidade de memória ao lado da velocidade de processamento

A Samsung Electronics está a alargar a sua estratégia de infraestrutura de IA para além da memória de alta largura de banda, combinando HBM5 e memória personalizada com uma colaboração com a AMD em tecnologias de memória partilhada para servidores e de armazenamento que transferem parte do processamento de dados para SSD. A empresa apresentou esta abordagem na OCP Global Summit 2026, agendada para 12 a 15 de outubro no San Jose McEnery Convention Center, na Califórnia.

As afirmações mais concretas sobre desempenho dizem respeito a tecnologias noutras posições da hierarquia de memória. A Samsung refere uma redução de até 38% no tempo até um modelo de IA produzir o primeiro token, através da alocação elástica de memória CXL; um desempenho de inferência até três vezes superior com processamento em memória LPDDR5X; e velocidades de leitura sequencial de SSD até 28,4 GB/s. São resultados de avaliações ou demonstrações específicas, não garantias para todas as instalações de IA.

A página oficial da cimeira organiza a estratégia em torno da velocidade, da expansão da memória e da persistência. Entre os produtos em destaque estão HBM4E, LPDDR5X-PIM, o módulo de memória CMM-D MD310, a memória para servidores SOCAMM2 e os SSD PM1763 e BM1773.

Hojun Shim, identificado pela Samsung como vice-presidente corporativo e responsável pela equipa de engenharia de aplicações da divisão de memória, tinha apresentação agendada para 12 de outubro, numa sessão executiva sobre as três prioridades. As notícias descrevem a apresentação como o lançamento de uma iniciativa mais ampla para otimizar em conjunto processadores, memória e armazenamento, em vez de melhorar cada componente separadamente.

A distinção é importante durante a inferência, quando um modelo treinado gera respostas. Mesmo um acelerador rápido pode passar tempo à espera de dados, ficar sem memória à medida que as conversas se prolongam ou sofrer atrasos ao recuperar informação do armazenamento. A Samsung propõe tecnologias diferentes para cada uma destas limitações.

HBM5 encabeça uma estratégia de velocidade mais abrangente

As notícias sobre a exposição identificam a HBM5, descrita como memória de alta largura de banda de oitava geração, a HBM personalizada e a zHBM entre as iniciativas da Samsung para aumentar a velocidade. A memória de alta largura de banda fornece grandes volumes de dados a um acelerador através de numerosas ligações paralelas. As versões personalizadas procuram corresponder aos requisitos dos sistemas de cada cliente.

A lista oficial de produtos menciona HBM4E, não HBM5. Outras notícias referem maquetas conceptuais de HBM4E e HBM5 na exposição. Esta diferença é importante: a apresentação de um produto numa exposição ou de um conceito não significa que já esteja a ser comercializado, e a página da cimeira da Samsung não indica uma data de lançamento comercial nem especificações detalhadas de desempenho para a HBM5.

Os dados numéricos mais sólidos sobre velocidade de processamento dizem respeito à LPDDR5X-PIM. O processamento em memória executa parte dos cálculos no próprio dispositivo de memória, reduzindo as transferências repetidas entre a memória e um processador separado. A Samsung diz que o seu design integra unidades de processamento em cada banco de memória.

Numa avaliação com o Llama 3.1 8B no acelerador de IA Edge da Samsung, a empresa refere uma largura de banda efetiva até oito vezes superior à da LPDDR5X convencional, até três vezes mais tokens gerados por segundo e um tempo de execução até 2,2 vezes menor. Estes números dizem respeito a esse acelerador e modelo, não à HBM5 nem à demonstração de memória com a AMD.

A SOCAMM2, também em destaque, é um módulo de memória para servidores baseado em LPDDR. Em conjunto, as demonstrações mostram que a estratégia de velocidade da Samsung abrange tanto a memória dos aceleradores como tecnologias de memória de baixo consumo, embora a página da cimeira não apresente resultados de testes comparáveis para todos os produtos.

Colaboração com a AMD procura aumentar a flexibilidade da capacidade de memória

A Samsung e a AMD demonstraram a expansão de memória CXL com a tecnologia CMM-D da Samsung. CXL, abreviatura de Compute Express Link, liga processadores e outros dispositivos a memória adicional, permitindo aos sistemas expandir a capacidade para além da memória instalada diretamente.

A CMM-D é um módulo de memória DRAM baseado em CXL. Numa configuração agrupada, vários sistemas podem utilizar a capacidade dos recursos de memória ligados, em vez de esta ficar permanentemente atribuída a servidores individuais. A Samsung afirma que a colaboração com a AMD validou a utilização de CXL para aumentar a capacidade e a largura de banda da memória, reduzindo os períodos em que os núcleos da CPU ficam à espera de dados.

O problema torna-se mais premente à medida que os agentes de IA executam vários modelos ou tarefas. Segundo a descrição oficial da Samsung, as cargas de trabalho de agentes podem aumentar acentuadamente a utilização da CPU, enquanto a capacidade de memória não acompanha o número de núcleos do processador.

Uma demonstração separada de agrupamento CMM-D usou alocação elástica em várias instâncias de modelos de linguagem de grande dimensão, num servidor com GPU. A Samsung refere uma redução até 38% no tempo até ao primeiro token, ou TTFT, e um aumento até 3,3 vezes no débito útil, face à alocação estática. O TTFT mede o tempo de espera até ao início de uma resposta; o débito útil mede o trabalho útil realizado segundo os critérios da avaliação.

Estes resultados não devem ser considerados resultados numéricos da própria demonstração com a AMD. A página oficial descreve separadamente a validação com a AMD e o teste de alocação elástica. Também não apresenta detalhes suficientes para determinar como os ganhos variariam com outros modelos, configurações de servidores ou objetivos de serviço.

A cache KV liga a expansão da memória ao armazenamento

Um elo central entre os planos de memória e de armazenamento da Samsung é a cache de chave-valor, habitualmente designada cache KV. Guarda informação intermédia gerada durante o processamento de texto por um modelo de linguagem, permitindo reutilizar trabalho em vez de voltar a calculá-lo para cada novo token.

Conversas longas, contextos maiores e vários utilizadores em simultâneo podem fazer com que estas caches ocupem uma parte substancial da memória. A Samsung propõe uma hierarquia em que a memória CXL aumenta a capacidade disponível e os SSD guardam dados da cache que não precisam de permanecer na camada de memória mais rápida.

A página oficial da cimeira descreve uma implementação em produção no campus da Samsung Semiconductor nos EUA, que serve um agente interno de programação com IA e outras aplicações. A Samsung afirma que a adição de uma camada de memória componível L3.5 através da sua solução AI Memory Node permitiu multiplicar por cinco a sete a utilização da cache KV.

L3.5 é a designação dessa camada adicional, não uma afirmação de que todos os servidores partilham uma arquitetura de cache idêntica. A implementação envolveu o Memory Solutions Lab da Samsung, a equipa DSA AI Platform Integrations e o SGLang. O resultado de utilização é distinto tanto do teste de alocação elástica como dos dados de desempenho da LPDDR5X-PIM.

O programa da cimeira incluiu também uma sessão a 13 de outubro sobre a combinação do agrupamento CXL com armazenamento SSD para transferir a cache KV, apresentada pelo arquiteto de sistemas Jinin So e pelo engenheiro principal Youngha Choi. Esta combinação vai além de um simples aumento de capacidade: exige software capaz de colocar e recuperar dados na memória e no armazenamento sem introduzir atrasos excessivos.

Os SSD assumem um papel na capacidade, na refrigeração e na colocação de dados

A estratégia de persistência da Samsung centra-se em SSD empresariais e memória flash NAND de alta capacidade. Persistência significa manter os dados para além do estado de trabalho temporário de um cálculo, permitindo que os sistemas de IA recuperem conjuntos de dados, ficheiros de modelos e informação guardada em cache quando necessário.

O PM1763 é apresentado como um SSD empresarial PCIe Gen6, com velocidades de leitura sequencial até 28,4 GB/s e eficiência energética até 1,8 vezes superior à do antecessor. Na demonstração de refrigeração líquida da Samsung, a versão E1.S está em contacto direto com uma placa de arrefecimento para dissipar o calor. A página oficial não apresenta o conjunto completo de condições de teste da comparação de desempenho.

O BM1773 é apresentado como um SSD E3.S com 256 TB de armazenamento QLC. A QLC, ou célula de quatro níveis, guarda quatro bits em cada célula flash, permitindo uma elevada capacidade. As notícias referem também o desenvolvimento contínuo, pela Samsung, de memória flash QLC de alta capacidade e de tecnologia flexível de colocação de dados.

A Samsung demonstrou otimizações da cache KV integradas no LMCache. A Flexible Data Placement, ou FDP, ajuda a organizar a localização de escrita dos dados para reduzir a amplificação de escrita, isto é, as escritas internas adicionais que um SSD executa para além dos dados enviados pelo sistema anfitrião.

A demonstração recorre também a um limite máximo superior de transferência de dados NVMe para reduzir o trabalho da CPU do sistema anfitrião. A Samsung descreve estas técnicas como relevantes tanto para o armazenamento em cache num único nó como para recursos de cache partilhados por um conjunto de servidores. A página do evento não apresenta melhorias numéricas para estas otimizações específicas.

Aproximar o processamento dos dados armazenados

A demonstração de base de dados vetorial da Samsung propõe outra forma de reduzir a movimentação de dados. As bases de dados vetoriais guardam representações numéricas de informação e comparam-nas para encontrar elementos semelhantes, um passo comum quando uma aplicação de IA procura documentos relevantes para um pedido.

A prova de conceito NCVS transfere para os SSD os cálculos de distância entre vetores. Em vez de enviar um vetor de 4 KB ao sistema anfitrião para comparação, o dispositivo devolve um resultado de distância de quatro bytes. A Samsung refere um tráfego para o sistema anfitrião até 22 vezes inferior ao do processamento convencional no anfitrião, com o débito de pesquisa a aumentar à medida que são adicionados mais SSD.

Os valores de quatro bytes e 4 KB referem-se ao tamanho dos resultados individuais e dos vetores; não significam que a aplicação completa reduza o tráfego na mesma proporção. A redução indicada, de até 22 vezes, é a comparação global medida. A Samsung identifica o NCVS como uma prova de conceito, não como um produto disponível em geral.

A demonstração AiSIO aborda a entrada e saída de dados do armazenamento através de uma interface de software comum para operações iniciadas pela GPU, de comunicação direta entre dispositivos e iniciadas pela CPU convencional. A Samsung refere 100 milhões de operações de entrada/saída por segundo e um carregamento de modelos de linguagem até dez vezes mais rápido a partir de um arranque a frio, com recurso ao OpenDS.

Estas métricas descrevem tarefas diferentes. A velocidade de leitura sequencial diz respeito à transferência sustentada de dados, as operações de entrada/saída por segundo contam os pedidos ao armazenamento e o carregamento a partir de um arranque a frio mede a rapidez com que um modelo fica pronto. Nenhuma destas métricas substitui diretamente um teste que indique quantos pedidos de utilizadores um serviço de IA completo consegue processar.

Testes com clientes e demonstrações de fundição alargam a proposta

O Samsung MAX Lab pretende envolver os clientes numa fase mais precoce do desenvolvimento. Os clientes podem testar tecnologias como PIM, CMM-D e SSD de nova geração antes da comercialização, em cargas de trabalho de IA realistas, e depois integrar os requisitos dos sistemas no desenvolvimento dos produtos.

Esta abordagem responde a uma questão prática presente nas demonstrações da cimeira: um componente mais rápido só traz benefícios se o software e o restante hardware conseguirem tirar partido dele. A Global Open-ecoSystem Team da Samsung participa no desenvolvimento de software de código aberto e na normalização do setor, enquanto a agenda do evento inclui sessões sobre estruturas de software, gestão de comandos de armazenamento e gestão de memória.

A Samsung demonstrou também armazenamento componível com migração em direto e gestão de SSD virtuais sobre NVMe padrão. A descrição oficial apresenta esta solução como uma forma de partilhar armazenamento entre vários inquilinos, com qualidade de serviço garantida, ou seja, com controlos sobre o serviço recebido por cada carga de trabalho.

A exposição foi além da memória. As notícias referem wafers de unidades de processamento de linguagem Groq fabricados com o processo de 4 nm da Samsung Foundry, um sistema Groq 3 LPX descrito em vários relatos como um sistema Nvidia e wafers produzidos com o processo gate all around de 2 nm da Samsung. Estas demonstrações apresentam capacidades de fabrico em conjunto com memória e armazenamento, mas não comprovam a existência de novos contratos de produção nem indicam volumes de expedição.

Uma parceria desenvolvida ao longo de vários meses

A demonstração com a AMD dá seguimento a uma cooperação anterior, não sendo um caso isolado. As notícias referem um memorando de entendimento assinado em março, abrangendo tecnologias de memória e computação de IA de nova geração, seguido de conversações durante a visita de Lisa Su, diretora executiva da AMD, à Coreia do Sul, a 7 de outubro.

A sequência dos desenvolvimentos noticiados e das sessões previstas para a cimeira é a seguinte:

• Março de 2026: Samsung e AMD assinaram o memorando de cooperação; a Samsung apresentou também tecnologia na Nvidia GTC.
• Junho e agosto de 2026: a Samsung fez apresentações na COMPUTEX e, respetivamente, na conferência Future of Memory and Storage.
• 7 de outubro de 2026: Lisa Su visitou a Coreia do Sul e reuniu-se com Jeon Young-hyun, vice-presidente da divisão DS da Samsung, para discutir a cooperação em memória e computação; as notícias referem também conversações sobre fundição.
• 12 de outubro de 2026: abriu a cimeira, estando prevista para esse dia a apresentação executiva de Shim.
• De 13 a 15 de outubro de 2026: o programa da Samsung incluiu sessões sobre organização hierárquica da cache KV, otimização de armazenamento e arquitetura de memória CXL partilhada.

A Samsung participou como patrocinador Diamante. As notícias divergem quanto à data a atribuir ao anúncio da estratégia: 12 de outubro, hora local, ou a declaração da empresa, a 13 de outubro. As duas datas podem corresponder a etapas diferentes do mesmo evento. Uma notícia situa a cimeira em São Francisco, mas a agenda oficial da Samsung identifica o centro de convenções de San Jose.

A dimensão do mercado não determina a prontidão comercial

Dados de estudos do setor divulgados indicam que a Samsung liderou no segundo trimestre de 2026, com 39% das receitas mundiais de DRAM e 29,3% do mercado de memória flash NAND. A Counterpoint Research é indicada como fonte do valor relativo à DRAM e a TrendForce como fonte do valor relativo à NAND. São medidas de quota de mercado, não quotas dos emergentes mercados de CXL ou de processamento em memória.

A Omdia é citada como prevendo que a Samsung seria a maior produtora da indústria de wafers de DRAM e NAND durante o ano. Uma estimativa separada aponta para uma capacidade anual de DRAM de cerca de 8,175 milhões de wafers equivalentes a wafers de 300 mm. A capacidade não corresponde à produção efetiva, e nenhum dos valores permite determinar quanto da produção será destinado às tecnologias apresentadas na OCP.

Uma notícia apresenta ainda valores preliminares invulgarmente elevados para o terceiro trimestre, com data de 8 de outubro: receitas de 195 biliões de won e um lucro operacional de 107,4 biliões de won, um aumento de 782,5% face ao ano anterior. Estes valores não são confirmados aqui por um comunicado financeiro oficial e não devem ser considerados prova estabelecida de receitas geradas pelas tecnologias apresentadas na cimeira.

A concorrência também está a avançar para além da HBM. As notícias descrevem o Memory-Centric AI Rack System, ou MARS, da SK hynix como um conjunto de memória CXL partilhado por uma rack. A proposta é semelhante à iniciativa da Samsung para disponibilizar memória excedentária a vários sistemas, embora não existam testes comparáveis que determinem qual das abordagens tem melhor desempenho.

A ambição declarada da Samsung é reforçar a competitividade em HBM, DDR5 para servidores e SSD empresariais. Entre as questões comerciais por esclarecer estão a disponibilidade da HBM5, os preços, a adoção por mais clientes e a confirmação independente das alegações de desempenho. O programa da cimeira indica datas de demonstrações e debates, não prazos definitivos para o lançamento de todas as tecnologias.

Pontos-chave

• A estratégia da Samsung para a OCP 2026 combina memória mais rápida, expansão da capacidade através de CXL e armazenamento persistente em SSD.
• A colaboração com a AMD utiliza a tecnologia de memória CMM-D para responder às crescentes necessidades de memória da IA.
• Uma demonstração separada de agrupamento elástico indica uma redução de até 38% no tempo até ao primeiro token e um aumento de 3,3 vezes no débito útil.
• Os resultados da avaliação da LPDDR5X-PIM incluem um desempenho de inferência até três vezes superior no acelerador de IA Edge da Samsung.
• O armazenamento PM1763, a otimização da cache KV e o processamento dentro dos SSD visam diferentes limitações na movimentação de dados.
• As informações divulgadas na cimeira não estabelecem datas de expedição da HBM5 nem uma disponibilidade comercial generalizada.