Baidu apresenta IA multimodal open source que, segundo a empresa, supera GPT-5 e Gemini em benchmarks visuais

Um novo concorrente open source na IA multimodal

A Baidu disponibilizou como código aberto um novo modelo multimodal, ERNIE 4.5 VL 28B A3B Thinking, um sistema de 28 mil milhões de parâmetros que processa imagens, vídeo, documentos e texto. A empresa afirma que supera os principais modelos fechados em benchmarks com forte peso visual, ao utilizar menos recursos. Está licenciado sob Apache 2.0 para utilização comercial irrestrita. A afirmação, caso se confirme em testes independentes, posiciona a Baidu como fornecedor-chave de modelos de raciocínio visual de nível empresarial que funcionam em hardware acessível.

O ERNIE 4.5 VL 28B A3B Thinking ativa cerca de 3 mil milhões de parâmetros por token, uma fração pequena do total, através de uma arquitetura Mixture of Experts que encaminha cada entrada para as redes de especialistas mais relevantes. Esta ativação seletiva reduz o consumo de computação e memória, preservando a capacidade de um modelo muito maior. A Baidu afirma que o modelo pode executar inferência num único GPU de 80 GB e ainda assim apresentar resultados sólidos em compreensão de documentos, interpretação de gráficos e raciocínio visual complexo.

A funcionalidade principal é o que a Baidu designa por Thinking with Images. O modelo pode aproximar e afastar o zoom de uma imagem enquanto raciocina, inspecionar pequenas regiões à procura de pistas e combinar descobertas locais com a cena mais ampla. Esse comportamento corresponde à forma como as pessoas resolvem problemas visuais e melhora tarefas como ler diagramas técnicos densos, detetar defeitos numa linha de produção ou identificar referências como o conector azul por baixo do segundo parafuso.

A Baidu destaca também uma melhor ancoragem visual (grounding), um seguimento mais rigoroso das instruções em tarefas de imagem, o uso de ferramentas incluindo pesquisa de imagens e uma robusta compreensão de vídeo com noção temporal. O modelo é entregue com kits de integração compatíveis com Transformers, vLLM e FastDeploy, bem como um conjunto de ferramentas de treino e afinamento chamado ERNIEKit. Num campo saturado onde a maioria dos principais sistemas de linguagem visual permanece fechada, esta disponibilização oferece a programadores e empresas uma nova opção aberta com uma licença favorável ao negócio.

O que o modelo afirma fazer

A Baidu agrupa as capacidades do modelo em seis áreas: raciocínio visual, resolução de problemas STEM, ancoragem visual, integração de ferramentas, compreensão de vídeo e análise dinâmica de imagens. Na prática, isto significa que o sistema consegue ler e resumir faturas ou demonstrações financeiras, analisar gráficos e tabelas, raciocinar sobre esquemas de circuitos e problemas de geometria, indicar objetos ou regiões precisos numa imagem quando solicitado, invocar ferramentas externas para obter imagens de referência e acompanhar eventos ao longo de segmentos de vídeo.

Em tabelas de classificação apresentadas na documentação da Baidu, o modelo é apresentado como igualando ou superando versões do OpenAI GPT-5 High e do Google Gemini 2.5 Pro num conjunto de testes focados na visão. Estes incluem perguntas e respostas sobre gráficos, compreensão de documentos e benchmarks de raciocínio visual em múltiplos passos. A empresa realça também vantagens de velocidade, afirmando inferência duas a três vezes mais rápida do que modelos comparáveis com precisão semelhante.

Laboratórios independentes ainda não verificaram estes dados. As suites de benchmark frequentemente premiam a recuperação de padrões, a formatação de prompts ou truques estreitos em vez da fiabilidade em implementações reais desordenadas. Empresas a avaliar o ERNIE 4.5 VL 28B A3B Thinking deverão executar pilotos direcionados com os seus próprios documentos, condições de iluminação, ângulos de câmara e políticas de segurança antes de assumir compromissos de produção.

Mesmo com essa cautela, o âmbito das tarefas cobertas é amplo. A combinação de raciocínio, ancoragem e uso de ferramentas torna o modelo um candidato para fluxos de trabalho de estilo agente, como a leitura de sinistros recebidos nas filas de seguros, a sinalização de anomalias em operações de armazém ou a assistência a técnicos na resolução de problemas de equipamento com fotografias anotadas e vídeos curtos.

Como um modelo de 28B corre num único GPU de 80 GB

A chave está no Mixture of Experts, uma arquitetura em que muitas subredes especializadas se encontram atrás de um router. Para cada token ou patch de imagem, o router seleciona um pequeno subconjunto de especialistas a ativar. Apenas esses especialistas efetuam cálculos, pelo que o sistema se comporta como um modelo pequeno em cada passo, enquanto o conjunto completo de especialistas proporciona maior capacidade quando se olha para muitos passos e tarefas. Esta estrutura melhora o rendimento porque a maioria dos parâmetros permanece inativa durante qualquer operação específica.

A ativação seletiva reduz as necessidades de memória e o custo de computação. Um modelo denso de 28 mil milhões de parâmetros exigiria muito mais hardware para funcionar a velocidades úteis. Ao ativar cerca de 3 mil milhões de parâmetros por token, a Baidu pode afirmar inferência num único GPU para o modelo de linguagem visual, o que abre os testes a muitos laboratórios. O compromisso é a complexidade adicional. Os engenheiros precisam de um router rápido e equilibrado, de um balanceamento de carga cuidadoso e de técnicas de treino estáveis para evitar que poucos especialistas façam todo o trabalho.

Thinking with Images e ancoragem precisa

Os modelos tradicionais de linguagem visual recebem uma imagem de resolução fixa e produzem uma resposta em texto. O Thinking with Images acrescenta um ciclo de planeamento. O modelo decompõe uma questão em passos, propõe onde olhar a seguir, recorta uma região em alta resolução, lê texto ou mede a geometria dentro dessa região e depois atualiza o seu plano. Este ciclo repete-se até serem reunidas evidências suficientes para responder. A capacidade também funciona ao inverso quando a tarefa pede que se aponte um objeto, ao mapear as palavras de volta para localizações em pixéis e desenhar uma caixa ou uma máscara.

Uma melhor ancoragem é importante quando as imagens são confusas ou técnicas. Na manufatura, duas peças podem parecer quase idênticas até se aproximar o zoom. Nos desenhos técnicos, alguns pixéis de notação alteram o significado de um símbolo. Na imagem médica, pequenos artefactos podem inclinar um diagnóstico. Um sistema capaz de alternar entre o contexto da cena e os detalhes finos, explicando os passos que deu, oferece aos operadores um rastro de auditoria mais claro e um caminho para corrigir erros.

Benchmarks versus cargas de trabalho reais

Os gráficos dos fornecedores frequentemente agrupam resultados de muitas avaliações. Alguns benchmarks são imagens limpas com recortes perfeitos. Outros utilizam questões que o conjunto de treino já cobre. As implementações reais introduzem reflexos, desfoque de movimento, tipografias invulgares, oclusão e etiquetas multilíngues. O desempenho pode oscilar quando as entradas estão fora da distribuição de treino. É por isso que a alegação de superar o GPT-5 ou o Gemini em testes selecionados deve ser tratada como um ponto de partida, não como uma conclusão.

Uma abordagem mais fiável é a avaliação específica da tarefa. Para documentos, as equipas podem reunir alguns centenas de ficheiros representativos e medir a exatidão da extração de campos com uma chave de respostas auditada por um ser humano. Para tarefas visuais, podem simular condições de produção e depois acompanhar a precisão e o recall em caixas ou máscaras. Para gráficos, podem inserir gráficos sintéticos com casos extremos como escalas logarítmicas ou séries empilhadas. Isto produz uma visão mais clara do comportamento do modelo e dos modos de falha.

Receita de treino e stack de programador

Os modelos ERNIE 4.5 utilizam um caminho de treino que mistura aprendizagem supervisionada clássica com aprendizagem por reforço em tarefas multimodais. A documentação menciona estratégias designadas por GSPO e IcePop para estabilizar o router e melhorar a moldura de recompensas ao treinar um MoE, combinadas com amostragem dinâmica de dificuldade para que o modelo veja exemplos mais difíceis à medida que melhora. O resultado é um sistema capaz de planear raciocínio em múltiplos passos sobre imagens, gráficos e vídeo, em vez de adivinhar numa única passagem.

A família de modelos abrange variantes apenas de texto e de linguagem visual, desde modelos densos muito pequenos a sistemas MoE enormes com centenas de milhares de milhões de parâmetros no total. A Baidu afirma que a arquitetura permite o partilha de parâmetros entre modalidades, pelo que os componentes de texto e de visão podem beneficiar uns dos outros sem prejudicar a qualidade da linguagem. O treino e a inferência correm na plataforma da empresa PaddlePaddle, que a equipa afirma ter elevada utilização de hardware à grande escala.

Para programadores, a Baidu disponibiliza um conjunto de ferramentas. O ERNIEKit suporta afinamento, otimização de preferências e quantização para uma implementação eficiente em recursos. O modelo de linguagem visual pode ser servido através de stacks comuns como Transformers e vLLM, e a inferência em produção pode ser tratada com FastDeploy. A licença Apache 2.0 remove muitas restrições à utilização comercial. A página oficial do modelo está disponível em Hugging Face e o código e as receitas encontram-se no repositório GitHub da Baidu.

O que isto significa para as empresas

A licença aberta e a inferência num único GPU tornam o modelo atrativo para equipas que pretendem IA visual privada, em instalações próprias, sem enviar dados para um fornecedor de cloud. Setores intensivos em documentos podem experimentar uma admissão inteligente de contratos, faturas e sinistros. Os fabricantes podem criar estações de inspeção de qualidade que combinam orientação visual e linguística para os operadores da linha. As equipas de retalho e logística podem usar o grounding para localizar artigos e verificar etiquetas em armazéns. Os grupos de apoio ao cliente podem enriquecer respostas em chat através da leitura de gráficos ou capturas de ecrã incorporados.

Os custos contam. Muitas organizações não podem reservar clusters de GPUs de classe H100 para uma única aplicação. Um sistema que corre num único cartão de 80 GB reduz as barreiras à entrada para pilotos e primeiras implementações. A combinação de grounding, uso de ferramentas e compreensão de vídeo também se adapta a fluxos de trabalho de estilo agente, em que o modelo lê, pesquisa, clica e raciocina ao longo de vários passos para concluir uma tarefa. Isto acompanha a mudança em direção a agentes que utilizam o computador e operam interfaces padrão em vez de APIs personalizadas.

A corrida mais alargada: modelos abertos versus serviços fechados

A disponibilização ocorre num ano agitado para os modelos abertos. A DeepSeek introduziu um modelo de linguagem MoE muito grande com centenas de milhares de milhões de parâmetros no total e apenas algumas dezenas de milhares de milhões ativos por token, reportando resultados sólidos em benchmarks gerais a uma fração do custo de treino observado em sistemas fechados. O Alibaba Marco o1 avançou no raciocínio com técnicas como afinamento chain of thought e planeamento orientado por pesquisa para lidar com tarefas abertas que carecem de recompensas numéricas claras.

Laboratórios chineses, incluindo Baidu, Alibaba e outros, estão cada vez mais a disponibilizar modelos capazes sob licenças permissivas. O acesso aberto dá aos programadores regionais uma forma de construir com menos dependências de serviços proprietários. Também pressiona os fornecedores globais a justificar preços premium através de vantagens claras em fiabilidade, ferramentas ou integrações. A lacuna entre o desempenho aberto e fechado estreitou-se em muitas áreas, especialmente para tarefas especializadas como análise de gráficos e extração de documentos.

Limites e questões por responder

Existem compromissos. O modelo de linguagem visual ainda necessita de um GPU de 80 GB para os melhores resultados, o que exclui muitos dispositivos de consumo. A janela de contexto está listada em 128K tokens, útil para PDFs longos mas ainda finita quando se combinam muitas imagens, texto de OCR e instruções. O encaminhamento em MoE pode complicar a implementação à escala, uma vez que os engenheiros têm de monitorizar o equilíbrio dos especialistas e proteger-se contra picos de latência causados por pontos de congestão no encaminhamento.

A segurança continua a ser um tema maior. Os sistemas de imagem podem ser enganados por padrões adversariais ou correlações espúrias. Um modelo que ativamente recorta e aproxima o zoom deve evitar o viés de confirmação, em que o plano continua a olhar para a região errada. As empresas esperarão registos de auditoria claros de cada passo na cadeia de pensamento quando o modelo está em modo de raciocínio, ou pelo menos rastros estruturados das chamadas a ferramentas e das caixas delimitadoras. A Baidu afirma que o modelo foi sujeito a aprendizagem por reforço multimodal e alinhamento de ancoragem, mas serão necessárias avaliações abrangentes de terceiros para gerar confiança.

Pontos-chave

• A Baidu disponibilizou o ERNIE 4.5 VL 28B A3B Thinking, um modelo multimodal open source sob Apache 2.0 para uso comercial.
• O modelo alega vitórias sobre o GPT-5 High e o Gemini 2.5 Pro em benchmarks com forte peso visual, pendente de validação independente.
• Utiliza uma arquitetura Mixture of Experts, ativando cerca de 3 mil milhões dos 28 mil milhões de parâmetros por token para reduzir computação e memória.
• A inferência pode correr num único GPU de 80 GB, diminuindo a barreira para pilotos e testes em instalações próprias.
• As funcionalidades principais incluem Thinking with Images para fluxos de zoom e inspeção, melhor ancoragem visual e compreensão de vídeo.
• Seis capacidades centrais visam raciocínio visual, tarefas STEM, ancoragem, uso de ferramentas, análise de vídeo e planeamento dinâmico de imagens.
• O treino inclui aprendizagem por reforço multimodal com GSPO e IcePop e amostragem dinâmica de dificuldade para estabilizar o MoE.
• As ferramentas de programador incluem ERNIEKit, compatibilidade com Transformers, vLLM e FastDeploy, além de uma página pública do modelo e um repositório de código.
• Os casos de uso abrangem processamento de documentos, controlo de qualidade na manufatura, operações de armazém e apoio ao cliente.
• Os limites incluem um requisito de GPU de 80 GB, uma janela de contexto de 128K, a complexidade do encaminhamento MoE e questões em aberto sobre robustez e segurança.