DeepSeek OCR comprime texto em imagens para cortar custos de IA e alargar o contexto

Uma nova forma de comprimir documentos longos no contexto da IA

A DeepSeek lançou o DeepSeek-OCR, um sistema de linguagem visual que comprime passagens longas de texto convertendo-as em imagens e depois recupera o conteúdo quando o modelo dele necessita. A abordagem reduz o número de tokens que um modelo de linguagem grande tem de processar em sete a vinte vezes, dependendo das definições e do tipo de documento, mantendo alta precisão numa compressão moderada. A DeepSeek afirma que o sistema atinge cerca de 97 por cento de exatidão de decodificação por volta do ponto de compressão dez vezes, e ainda devolve resultados úteis em rácios mais elevados. O projeto inclui código e pesos, está disponível para programadores e visa um dos pontos de dor mais caros da IA moderna: tratar contexto longo a um custo razoável.

O sistema funciona em duas fases. Um codificador visual chamado DeepEncoder transforma páginas de texto, tabelas, gráficos e outros layouts num conjunto compacto de tokens visuais. Um modelo de linguagem ligeiro, DeepSeek3B MoE A570M, decodifica depois esses tokens de volta em texto estruturado. Esta configuração preserva layouts e formatação quando necessário, suporta muitas línguas e pode devolver texto simples ou resultados estruturados, como tabelas Markdown.

A importância disto resume-se a tokens, as unidades básicas que os modelos de linguagem leem e escrevem. Mais tokens significam maior uso de memória e latência, o que encarece os custos. Os modelos têm também limites rígidos sobre a quantidade de contexto que conseguem ver de uma só vez. Ao armazenar contexto como imagens e revisitá-lo através de tokens visuais, o DeepSeek-OCR oferece uma camada de memória mais barata para sessões longas e documentos grandes, com o potencial de expandir a janela de contexto efetiva muito além do que o texto isoladamente permite.

A escala é uma afirmação central. O treino usou cerca de 30 milhões de páginas PDF em quase 100 línguas, com dados sintéticos adicionais para gráficos, fórmulas e figuras. Do lado operacional, a equipa indica que uma única GPU Nvidia A100 consegue processar mais de 200.000 páginas por dia. Um cluster de 20 servidores semelhantes pode elevar isto para cerca de 33 milhões de páginas diárias. Estes números sugerem pipelines rápidos para digitalização de documentos e para geração de dados de treino à grande escala.

Como converter texto em imagens reduz os tokens

Os modelos de linguagem leem a entrada como tokens, não como palavras ou caracteres. Um artigo ou relatório típico pode converter-se em milhares de tokens. Os mecanismos de atenção dentro da maioria dos transformers comparam muitos pares de tokens, e esse trabalho cresce rapidamente à medida que as sequences ficam mais longas. O contexto longo aumenta a memória e o tempo, e à grande escala isso torna-se um problema orçamental.

O que são tokens e janelas de contexto

Tokens são fatias de linguagem que os modelos entendem. Uma palavra curta pode ser um token, uma palavra mais longa pode dividir-se em vários, e a pontuação também conta. O número máximo de tokens que o modelo pode considerar de uma só vez é a janela de contexto. Muitos ficheiros reais excedem esse orçamento, pelo que os utilizadores ou truncam documentos ou pagam custos elevados por modelos especiais de contexto longo.

Porque é que os pixels podem ser mais baratos do que o texto para armazenamento

Os codificadores visuais transformam uma imagem numa grelha mais pequena de patches e depois comprimem essa grelha num conjunto de tokens visuais. O codificador da DeepSeek usa um bloco de compressão para reduzir a contagem de tokens antes de passar as características ao decodificador. Um exemplo nas notas técnicas descreve uma imagem de 1.024 por 1.024 pixels que começaria com 4.096 tokens de patch, caindo depois para 256 tokens comprimidos antes de fluir para a stack de linguagem visual. Se esses 256 tokens capturarem a essência de uma página densa que de outra forma seria 1.500 ou mais tokens de texto, as poupanças são imediatas.

O compromisso é simples. Em vez de armazenar contexto longo como tokens de texto, o sistema armazena instantâneos como tokens visuais compactos e reconstrói o significado à medida que é necessário. Isto mantém os orçamentos de memória sob controlo, ajuda a preservar o layout e os diagramas e evita algumas peculiaridades dos tokenizadores de texto. O custo vem dos passos acrescidos de codificação e decodificação e de uma perda gradual de precisão em rácios de compressão muito elevados.

Por dentro do modelo: DeepEncoder e o decodificador

O DeepEncoder combina duas ideias bem conhecidas: perceção local e compreensão global. Aplica um backbone Segment Anything Model para regiões e contornos de granulação fina e um módulo de estilo CLIP para o layout semântico mais amplo. Entre eles situa-se um compressor convolucional que reduz drasticamente o número de tokens visuais antes de os entregar à stack de linguagem. O codificador suporta múltiplos modos de resolução, pelo que os utilizadores podem definir um orçamento de tokens que corresponda à complexidade de cada página. Slides simples podem usar poucos tokens. Páginas de jornal densas ou figuras científicas carregadas podem precisar de mais.

O decodificador é um modelo de linguagem Mixture of Experts construído em torno de um design de três mil milhões de parâmetros, com cerca de 570 milhões de parâmetros ativos por token. O encaminhamento de especialistas ajuda o modelo a focar-se em diferentes tipos de conteúdo sem carregar os três mil milhões de parâmetros completos para cada token. Isto poupa computação mantendo a qualidade elevada. O sistema pode devolver texto simples, preservar a estrutura em Markdown e até extrair dados de tabelas e gráficos para formatos amigáveis para máquinas. Suporta OCR multilingue e consegue interpretar diagramas, estruturas químicas e figuras geométricas.

As predefinições de configuração incluem Tiny, Small, Base e Large, além de um modo dinâmico para páginas muito complexas. As predefinições equilibram o tamanho da imagem e a contagem de tokens. A DeepSeek recomenda começar com Small para páginas típicas, subindo apenas quando o conteúdo é denso ou o layout é desafiante.

O que os benchmarks e os números de precisão revelam

A compressão só é útil se o decodificador conseguir recuperar o texto com alta fidelidade. Em rácios de compressão abaixo de dez vezes, a DeepSeek reporta cerca de 97 por cento de exatidão nos testes de decodificação. Isso cai para cerca de 60 por cento por volta de vinte vezes de compressão. A equipa mostra também exemplos em que 100 tokens visuais representam documentos que teriam consumido 700 a 800 tokens de texto, com a precisão ainda em cerca de 97 por cento num benchmark dedicado. Estes números são coerentes com a afirmação de que a compressão média produz a melhor combinação de poupança e exatidão.

No OmniDocBench, um teste comum de compreensão de documentos, o modelo supera sistemas OCR conhecidos usando menos tokens. A necessidade de tokens varia por categoria de documento. Slides e brochuras simples podem precisar de cerca de 64 tokens visuais por página. Revistas ou jornais com muitas colunas e imagens podem exigir several centenas. O sistema pode preservar a formatação ou removê-la, dependendo das definições do utilizador.

As métricas operacionais são agressivas. A equipa cita mais de 200.000 páginas processadas por dia numa única placa Nvidia A100 e cerca de 33 milhões de páginas por dia num cluster de 20 servidores. O código de treino e inferência, juntamente com os pesos do modelo, estão disponíveis com uma licença permissiva. Essa combinação convida a experimentação rápida em ambientes de investigação e produção.

O que isto pode alterar nos custos, memória e design de produtos da IA

Muitos produtos de IA esbarram num obstáculo quando as conversas ou cadeias de documentos ficam longas. Armazenar contexto anterior como tokens visuais dá aos modelos uma camada de memória mais barata. Um sistema pode resumir ou comprimir turnos antigos em imagens e depois decodificar os detalhes apenas quando necessário. Isto mantém o contexto de texto ativo enxuto, preservando a capacidade de recall de factos, citações e layouts de fases anteriores. Também ajuda os modelos a tratar páginas com tabelas complexas ou matemática que os tokenizadores tradicionais tratam mal.

Para os utilizadores, isto desbloqueia fluxos de trabalho práticos. Um assistente pode ingerir PDFs de comprimento total, contratos e folhas de cálculo, manter uma memória compacta e depois restaurar secções exatas com a sua estrutura quando solicitado. Copiar linhas de uma tabela ou extrair a legenda de uma figura torna-se simples, porque o decodificador reconstrói a estrutura, não apenas os caracteres crus. Isto sugere também uma pesquisa empresarial eficiente que indexa instantâneos comprimidos de páginas e depois decoda excertos à medida que são necessários.

Para programadores e investigadores, o débito importa. O sistema pode gerar grandes corpus de treino para modelos de linguagem e visão, produzindo centenas de milhares de páginas por GPU por dia. Essa velocidade ajuda a criar dados supervisionados a custo mais baixo. Indústrias que dependem de gráficos e formulários, como a finança, a saúde e a ciência, podem ver pipelines de digitalização mais rápidos com melhor preservação da estrutura. Ainda é necessário cuidado quando saídas comprimidas alimentam treinos futuros, uma vez que pequenos erros de decodificação podem converter-se em etiquetas ruidosas à escala.

Limitações, riscos e questões em aberto

Uma compressão mais elevada produz orçamentos de tokens mais pequenos mas reduz a fidelidade. Por volta de vinte vezes de compressão, a exatidão reportada cai para cerca de 60 por cento. Muitas tarefas toleram erros ligeiros. Outras, como nomes, números e cláusulas legais, exigem recuperação quase perfeita. Os utilizadores precisarão de políticas que empurrem páginas críticas para modos de compressão mais baixos e reservem a compressão agressiva para contexto que não exija reprodução exata.

Há também uma questão de raciocínio. Os modelos raciocinam bem sobre tokens de texto porque foram treinados para isso. Os tokens visuais carregam vieses indutivos diferentes. O decodificador tem de reconstruir o texto primeiro e depois raciocinar. Esse passo extra pode afetar tarefas que dependem de longas cadeias de pensamento. As equipas vão querer testar o raciocínio multi-passo quando contexto importante está atrás da camada de imagem e considerar alternativas para tarefas críticas em termos de precisão.

A latência e o planeamento da infraestrutura continuam relevantes. Os passos acrescidos de codificação e decodificação acrescentam trabalho. As poupanças surgem quando os documentos crescem ou as conversas ficam longas. As implementações devem medir o tempo real, a memória e o custo em vários tipos de documento para definir limiares sobre quando comprimir e quando passar texto bruto. Os formatos de armazenamento também mudam. Imagens ou tensores de tipo imagem substituem ficheiros de texto bruto, o que pode afetar sistemas de pesquisa e pipelines de conformidade.

Privacidade e segurança merecem atenção. Comprimir ficheiros sensíveis em imagens ou tokens visuais não elimina o risco. Os controlos de acesso, a encriptação e os registos de auditoria têm de ser aplicados ao armazenamento comprimido. Alguns documentos, como digitalizações de baixa resolução ou escrita manuscrita desleixada, continuarão a desafiar o modelo. A seleção dinâmica de modos e a revisão humana continuam prudentes para fluxos de trabalho críticos.

Como experimentar o DeepSeek OCR hoje

A página do projeto no Hugging Face disponibiliza cartões de modelo, notas de arranque rápido e downloads. O código e os pesos estão também no GitHub com uma licença permissiva que cobre tanto uso académico como comercial. Os programadores podem começar aqui: página do modelo no Hugging Face e aqui: repositório no GitHub.

A configuração de referência indica Python 3.12.9 e CUDA 11.8, com dependências que incluem PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict e Flash Attention. Recomenda-se uma GPU Nvidia para velocidade. Os modos predefinidos permitem aos utilizadores trocar detalhe por custo. Para documentos empresariais standard, o modo Small é um ponto de partida razoável. Páginas científicas ou legais densas podem beneficiar de resolução mais alta ou do modo dinâmico.

Um fluxo de trabalho típico converte um PDF em imagens de página, alimenta cada página no DeepEncoder com uma resolução escolhida e depois decodifica os tokens visuais resultantes com o modelo de linguagem. As saídas podem ser texto simples para pesquisa ou Markdown que preserva tabelas e cabeças de secção. O repositório GitHub inclui scripts para processamento em lote e dicas de débito. As equipas devem monitorizar a exatidão ao aumentar o rácio de compressão e manter as páginas críticas em definições conservadoras.

Pontos-Chave

• O DeepSeek-OCR comprime texto longo armazenando-o como imagens e depois recupera o conteúdo à medida que é necessário com um decodificador.
• O uso de tokens cai em cerca de sete a vinte vezes, dependendo das definições e da complexidade do documento.
• A precisão de decodificação reportada é de cerca de 97 por cento perto de dez vezes de compressão, e cerca de 60 por cento por volta de vinte vezes.
• A arquitetura associa o DeepEncoder a um decodificador Mixture of Experts que ativa cerca de 570 milhões de parâmetros por token.
• Os modos vão de Tiny a Large, além de uma opção dinâmica para páginas muito complexas, permitindo aos utilizadores definir orçamentos de tokens explícitos.
• Os benchmarks mostram resultados fortes no OmniDocBench usando menos tokens do que os baselines OCR populares.
• As afirmações de débito incluem mais de 200.000 páginas por dia numa única GPU Nvidia A100 e cerca de 33 milhões de páginas por dia num cluster de 20 servidores.
• As saídas estruturadas incluem tabelas Markdown e dados de gráficos, com suporte para diagramas, fórmulas e muitas línguas.
• O código e os pesos em código aberto estão disponíveis no Hugging Face e no GitHub sob uma licença permissiva.
• Os melhores casos de uso incluem memória de contexto longo mais barata, digitalização de documentos à grande escala e geração de dados de treino, com definições cuidadas para trabalho crítico em termos de precisão.