Alibaba lança Qwen3 Omni, modelo de IA multimodal de código aberto

Porque é que este lançamento importa agora

A Alibaba lançou o Qwen3 Omni, um modelo de inteligência artificial multimodal que processa texto, imagens, áudio e vídeo num só sistema, e chega num momento em que a concorrência global em IA se intensifica. O modelo pode ser descarregado e utilizado sob a licença Apache 2.0, que concede às empresas amplos direitos para executar, modificar e integrar a tecnologia em produtos comerciais. Essa combinação de cobertura modal ampla e licenciamento permissivo exerce pressão direta sobre os sistemas fechados dos principais líderes norte-americanos.

O momento é revelador. As empresas ocidentais continuam a investir fortemente em IA proprietária e na infraestrutura que a suporta, enquanto os grupos de investigação chineses conquistam programadores com modelos de acesso aberto. O Qwen3 Omni subiu rapidamente nas listas de popularidade da comunidade no Hugging Face, um sinal de que a base de programadores o está a adotar em grande escala. Para a Alibaba, o lançamento indica que o maior fornecedor de cloud da China pretende disputar cargas de trabalho globais de IA, e não apenas a liderança no âmbito da investigação.

A promessa do modelo é simples de enunciar. Um único modelo de base capaz de processar linguagem, imagens, áudio e vídeo, e depois responder em texto ou em fala natural com velocidade de streaming. Se o desempenho relatado pela Alibaba se confirmar no uso generalizado, as empresas poderão implantar assistentes, serviços de transcrição e ferramentas de análise sem pagar taxas de utilização a plataformas fechadas e sem ter de combinar modelos separados para cada tipo de dados.

O que é o Qwen3 Omni e o que faz

O Qwen3 Omni é um modelo de base concebido para interação multimodal nativa. Aceita quatro tipos de entrada — texto, imagem, áudio e vídeo — e produz dois tipos de saída: texto e fala. As respostas podem ser transmitidas em tempo quase real, pelo que um utilizador pode conversar com o sistema ou apontar a câmara a uma cena e começar a ouvir uma resposta à medida que este processa os quadros.

A Alibaba disponibiliza três versões para que as equipas possam ajustar as capacidades aos casos de utilização. Cada versão assenta num backbone de 30 mil milhões de parâmetros que ativa seletivamente especialistas durante a inferência, em benefício da eficiência. A gama apresenta-se da seguinte forma:

• Instruct, o modelo interativo completo que trata entradas de áudio, vídeo e texto e gera tanto texto como fala.
• Thinking, o modelo focado no raciocínio para respostas com longas cadeias de pensamento. Aceita as mesmas entradas, mas produz apenas texto.
• Captioner, uma variante afinada para legendagem de áudio pormenorizada, que procura minimizar alucinações ao descrever fontes e eventos sonoros.

Os programadores podem descarregar os pesos a partir do GitHub e do Hugging Face, ou invocar um ponto de extremidade gerido através da API da Alibaba, que oferece também uma variante Flash mais rápida para utilizações sensíveis à latência.

Por dentro do design Thinker e Talker

O sistema segue uma arquitetura de dois componentes a que a Alibaba designa por Thinker e Talker. O Thinker é responsável pelo raciocínio entre modalidades. Combina pistas de texto, codificadores visuais e um codificador de áudio, e depois planeia e produz tokens de texto que representam a resposta ou a ação pretendida. O Talker converte esse plano em fala natural, mantendo a temporalidade e a entoação alinhadas com o contexto visual e sonoro.

Ambos os componentes utilizam uma abordagem Mixture of Experts. Apenas um subconjunto de parâmetros está ativo em cada passo, o que distribui a carga de trabalho entre especialistas e melhora o débito quando chegam muitos pedidos em simultâneo. Este design ajuda o modelo a manter baixa latência ao servir utilizadores concorrentes.

O Talker não depende da representação interna de texto do Thinker. Pode condicionar-se diretamente a partir de características de áudio e de visão. Isso torna a saída de fala mais natural durante traduções ou assistência em direto, uma vez que o sistema pode preservar a prosódia e o timbre adequados à cena. A separação também traz benefícios operacionais. Módulos externos, como sistemas de recuperação ou filtros de segurança, podem inspecionar e ajustar o texto proposto pelo Thinker antes de o Talker gerar a fala.

Para manter a fala rápida e nítida, o Talker prevê autoregressivamente uma sequência multi-codebook e utiliza uma rede ligeira Code2Wav para sintetizar quadros de áudio em tempo real. A abordagem reduz o atraso sem sacrificar o detalhe da qualidade vocal.

Velocidade, escala e idiomas

A latência é determinante na interação por voz e vídeo. O Qwen3 Omni regista uma latência do primeiro pacote de cerca de 234 milissegundos para áudio e aproximadamente 547 milissegundos para vídeo. A responsividade extremo a extremo mantém-se dentro de um fator de tempo real, mesmo ao servir vários pedidos, o que mantém a conversa fluida.

A cobertura de idiomas é ampla. O modelo suporta 119 idiomas em texto. Compreende entrada falada em 19 idiomas e pode falar em 10. A cobertura inclui principais línguas mundiais e dialetos como o cantonês. Isso oferece às equipas de produto um caminho para criar assistentes para audiências globais sem trocar de modelo por região.

As janelas de contexto foram desenhadas para sessões longas. O Modo Thinking oferece 65.536 tokens e o Modo Non Thinking oferece 49.152 tokens. O máximo de entrada e de saída é de 16.384 tokens cada, e a cadeia de raciocínio mais longa suportada chega a 32.768 tokens. O modelo pode analisar e resumir clipes de áudio alargados, até cerca de 30 minutos.

Como a Alibaba treinou o modelo

A compreensão de áudio assenta num Audio Transformer personalizado designado AuT. A Alibaba treinou o AuT de raiz com cerca de 20 milhões de horas de áudio rotulado. A maior parte desse conjunto centra-se no reconhecimento automático de fala em chinês e inglês, com uma parcela menor de outras línguas e tarefas orientadas para uma compreensão mais ampla do áudio. O AuT tem cerca de seiscentos milhões de parâmetros e é afinado tanto para caches de streaming como para tarefas offline.

Pré-treino decorreu em três fases. Numa fase de alinhamento do codificador, a equipa treinou os codificadores de visão e de áudio mantendo o backbone linguístico congelado, o que ajuda a preservar a qualidade da percepção. Seguiu-se um treino geral sobre um conjunto de dados de aproximadamente dois biliões de tokens, abrangendo texto, áudio e imagens, com porções mais pequenas de dados de vídeo e de áudio-vídeo. Uma fase final de longo contexto prolongou o comprimento da sequência de 8.192 tokens para 32.768 tokens e incorporou áudio e vídeo mais longos para garantir que o modelo consegue acompanhar sequências extensas.

O pós-treino acrescentou seguimento de instruções e alinhamento de segurança. Para o Thinker, a equipa aplicou fine-tuning supervisionado, destilação de forte para fraco e otimização GSPO com uma combinação de regras e feedback do tipo LLM como juiz. O Talker passou por quatro fases que combinam centenas de milhões de amostras de fala multimodal com pré-treino contínuo sobre dados curados. O objetivo era reduzir as alucinações, melhorando simultaneamente a clareza e a expressividade da fala.

Benchmarks, pontos fortes e limitações

Ao longo de 36 benchmarks públicos que cobrem texto, fala, visão e vídeo, a Alibaba afirma que o Qwen3 Omni ocupa o primeiro lugar em 22 e lidera entre os modelos abertos em 32. Os resultados apontam para um desempenho forte em tarefas ricas em áudio e resultados competitivos em texto e visão.

Raciocínio e escrita: no AIME25 o modelo pontua 65.0, uma margem larga face ao resultado de 26.7 do GPT 4o da era de 2024. O ZebraLogic mostra 76.0, à frente do Gemini 2.5 Flash com 57.9. No WritingBench o modelo apresenta 82.6, acima do GPT 4o com 75.5.

Fala e áudio: na suite Wenetspeech, as taxas de erro de palavras registadas são 4.69 e 5.89, muito abaixo do GPT 4o com 15.30 e 32.27. No LibriSpeech other, o erro cai para 2.48. A classificação musical também mostra força, com o GTZAN a 93.0 e o RUL MuchoMusic a 52.0, ambos acima do GPT 4o.

Visão e vídeo: o HallusionBench fica em 59.7, o MMMU pro em 57.0 e o MathVision full em 56.3, todos acima do GPT 4o no mesmo conjunto de resultados. No teste de compreensão de vídeo MLVU, o Qwen3 Omni apresenta 75.2, à frente do Gemini 2.0 Flash com 71.0 e do GPT 4o com 64.6.

São números robustos, mas as equipas devem lê-los em contexto. A Alibaba ajustou o sistema para manter a qualidade de texto e visão enquanto se destacava na fala e na interação multimodal. Observadores iniciais assinalam que um modelo apenas de texto da mesma família continua a liderar em algumas tarefas puramente linguísticas, o que é um compromisso normal ao passar do treino de modalidade única para uma ampla stack multimodal. O verdadeiro teste é o desempenho quotidiano nos fluxos de trabalho de produção.

Licença aberta, acesso e preços

O Qwen3 Omni é lançado sob Apache 2.0. Essa licença permite uso comercial, modificação e redistribuição, e inclui uma concessão de patente. As empresas podem incorporar o modelo em produtos, implantá-lo no seu próprio hardware ou em clouds de confiança e lançar produtos fechados sem expor alterações proprietárias. A licença remove os obstáculos legais mais comuns que impedem as equipas de utilizar modelos avançados em contextos regulados.

A família de modelos está disponível para descarga no GitHub e no Hugging Face. As equipas que prefiram uma via gerida podem utilizar a API da Alibaba, que expõe também uma opção Flash para respostas mais rápidas. A Alibaba oferece uma quota gratuita de um milhão de tokens em todas as modalidades durante 90 dias após a ativação, para que as equipas possam avaliar as capacidades antes de pagar.

Como funciona a preço por token

A faturação é por mil tokens. Um token é uma pequena unidade de texto ou uma representação fragmentada de outros meios, e é a medida comum do custo de computação em todas as modalidades. A Alibaba lista o mesmo preço por token para os modos Thinking e Non Thinking, com uma exceção: a saída de áudio está disponível apenas no Modo Non Thinking.

Custos de entrada: a entrada de texto custa 0,00025 dólares por mil tokens, o que equivale a cerca de 25 cêntimos por milhão de tokens. A entrada de áudio custa 0,00221 dólares por mil tokens, cerca de 2,21 dólares por milhão de tokens. A entrada de imagem e vídeo custa 0,00046 dólares por mil tokens, cerca de 46 cêntimos por milhão de tokens.

Custos de saída: a saída de texto custa 0,00096 dólares por mil tokens quando o prompt é apenas texto. Se a entrada incluir imagem ou áudio, a saída de texto custa 0,00178 dólares por mil tokens. Quando solicita saída de texto e de áudio em simultâneo, a parte de áudio custa 0,00876 dólares por mil tokens. Neste caso, a parte de texto é gratuita.

Casos de utilização prontos para hoje

As aplicações centradas no áudio e no vídeo tendem a beneficiar. A transcrição e tradução multilingue para apoio ao cliente e localização de conteúdos mediáticos pode funcionar num único modelo que ouve, compreende o contexto e responde em fala. A variante Captioner foca-se na descrição de áudio, útil para etiquetagem de conteúdos, monitorização de emissões e recuperação de informação musical.

Tarefas visuais como reconhecimento ótico de caracteres, ancoragem de objetos e resposta a perguntas sobre imagens ou vídeos também se encaixam. Um agente de apoio poderia observar uma transmissão em direto da câmara de um telemóvel sobre um portátil e descrever que cabo verificar, narrando depois os passos a ritmo natural. A Alibaba demonstrou tradução em tempo real de um menu de restaurante através de um dispositivo vestível. Estes cenários destacam porque a latência de streaming e a qualidade da fala importam.

O Qwen3 Omni suporta também diálogo audiovisual. Pode manter uma conversa que referencia tanto o que ouve como o que vê, acompanhar o contexto ao longo de uma sessão longa e mobilizar conhecimento externo relevante quando ligado a ferramentas. Os programadores podem moldar o tom e o comportamento com prompts de sistema, criar assistentes específicos de domínio e encaminhar as saídas do Thinker por filtros de segurança personalizados antes de qualquer fala ser produzida.

Como se compara ao GPT 4o, Gemini 2.5 e Gemma 3n

O Qwen3 Omni junta-se a uma classe de modelos omni que pretendem processar muitos tipos de dados num único motor. O GPT 4o da OpenAI suporta entrada de texto, imagem e áudio e é disponibilizado como serviço fechado. O Gemini 2.5 Pro da Google também trata análise de vídeo e é fechado. O Gemma 3n da Google traz uma licença aberta e aceita texto, imagem, áudio e vídeo como entradas, mas gera apenas texto. O modelo da Alibaba aceita as mesmas quatro entradas e acrescenta saída de fala, o que importa para assistentes e tradução em direto.

A abertura é uma diferença prática. Os pesos do Qwen3 Omni estão disponíveis sob Apache 2.0, pelo que as empresas podem executar o modelo localmente, adaptá-lo à regulamentação da indústria e controlar os fluxos de dados. Os modelos fechados continuam a dominar em certas tarefas avançadas, mas as suas condições de licenciamento e de residência de dados podem limitar a implantação em setores sensíveis. Muitas organizações optarão por uma stack mista, combinando modelos abertos para custo e controlo com serviços pagos onde o desempenho é difícil de superar.

Outra diferença está no relato de produção. A Alibaba construiu uma ampla família Qwen com centenas de variantes e relata uma grande adoção por parte dos programadores. Se a fala em direto e a interação por vídeo do Qwen3 Omni acompanharem os benchmarks no uso diário, oferece às equipas uma alternativa credível quando precisam de um assistente multilingue e de baixa latência que possam hospedar eles próprios.

Adoção e sinais de mercado

O envolvimento dos programadores é visível. O Qwen3 Omni atingiu o topo das listas de tendências do Hugging Face, e outros modelos da Alibaba ocupam agora vários dos principais lugares. O impulso reflete uma mudança mais ampla em que modelos abertos de laboratórios chineses ganham tração na comunidade global.

A Alibaba Cloud afirma que a família Qwen foi descarregada mais de 400 milhões de vezes em todo o mundo, e a empresa lançou mais de 300 modelos desde o início da linha. A reação dos investidores foi de apoio. As ações da Alibaba em Hong Kong subiram pouco mais de 4% no dia em que o Qwen3 Omni subiu ao topo das listas da comunidade, um sinal de que o mercado acompanha o progresso da empresa em IA.

Há também debate sobre o que significa aberto. Os modelos são distribuídos sob Apache 2.0 e os pesos estão disponíveis, mas a receita completa para reproduzir o treino a partir de dados brutos não é pública. Os puristas chamariam isto pesos abertos. Para a maioria das empresas, o que importam são os termos da licença, e estes permitem lançar produtos sem pagar taxas por utilizador ou por licença.

O que observar em segurança e governança

As empresas perguntarão se os ganhos de benchmark relatados se traduzem em comportamento previsível e seguro sob carga. Os sistemas de fala introduzem riscos únicos, desde comandos mal compreendidos até síntese vocal convincente. As equipas devem definir barreiras para verificação de identidade, filtragem de conteúdos e retenção de dados. A separação entre Thinker e Talker suporta esses controlos, uma vez que uma camada de segurança pode intercetar o texto antes de a fala ser gerada.

A prontidão operacional também entrará em foco. As organizações que adotam modelos abertos em grande escala costumam investir em MLOps, pipelines de fine-tuning e avaliação. O Qwen3 Omni reduz a necessidade de gerir múltiplos modelos ao tratar texto, áudio, imagem e vídeo num só lugar. Isso pode simplificar a infraestrutura e acelerar os ciclos de produto, especialmente em implantações on-premises ou de cloud soberana que têm de cumprir regras regionais.

A Alibaba esboçou os passos seguintes, incluindo melhor reconhecimento de múltiplas vozes, reconhecimento de texto em vídeo, aprendizagem mais forte a partir de áudio e vídeo combinados e agentes autónomos mais capazes. Estes objetivos alinham-se com as áreas onde os clientes pressionarão o modelo primeiro à medida que transformam pilotos em produção.

Pontos-chave

• O Qwen3 Omni é um único modelo que aceita texto, imagem, áudio e vídeo, e devolve texto e fala com velocidade de streaming.
• A Alibaba publica os pesos sob Apache 2.0, o que permite uso comercial, modificação e redistribuição com concessão de patente.
• Três variantes são lançadas agora: Instruct para interação completa, Thinking para raciocínio longo com saída de texto e Captioner para descrição de áudio com baixa alucinação.
• Thinker e Talker separam o raciocínio da geração de fala, usando um Mixture of Experts para manter baixa latência sob carga concorrente.
• A latência do primeiro pacote relatada é de cerca de 234 milissegundos para áudio e aproximadamente 547 milissegundos para vídeo, dentro de um fator de tempo real.
• O modelo suporta 119 idiomas em texto, compreende fala em 19 e pode falar em 10, incluindo suporte de dialetos como o cantonês.
• O AuT, um codificador de áudio com seiscentos milhões de parâmetros treinado com cerca de 20 milhões de horas, sustenta a compreensão de fala.
• Os benchmarks mostram liderança em 22 de 36 testes e liderança entre modelos abertos em 32, com resultados fortes em fala, música, visão e vídeo.
• Os preços da API começam em 0,00025 dólares por mil tokens de entrada de texto e 0,00096 dólares por mil tokens de saída de texto, com um período experimental gratuito de 1 milhão de tokens durante 90 dias.
• A adoção é rápida no Hugging Face, e a Alibaba relata centenas de milhões de descargas do Qwen à medida que as empresas avaliam modelos abertos para utilização em produção.