Alibaba apresenta Qwen3-Omni: modelo de IA multimodal em código aberto

Um desafante multimodal nativo passa para código aberto

A Alibaba apresentou o Qwen3-Omni, um modelo nativo de inteligência artificial multimodal que aceita texto, imagens, áudio e vídeo como entrada e responde em texto ou fala sintetizada. O modelo está disponível em código aberto sob a licença Apache 2.0, que permite o uso comercial, a modificação e a redistribuição com concessão de patente. Essa combinação de amplas capacidades e licenciamento permissivo coloca o Qwen3-Omni em direta concorrência com os principais sistemas fechados dos Estados Unidos, ao mesmo tempo que reduz a barreira de adoção para startups, investigadores e grandes empresas.

O Qwen3-Omni acompanha a mudança da indústria em direção aos modelos omni, uma classe de sistemas concebidos para compreender e agir em várias modalidades em tempo real. Diferentemente de arquiteturas que acrescentam fala ou visão por cima de um modelo de texto, a Alibaba afirma que o Qwen3-Omni foi construído como um sistema multimodal de ponta a ponta. Ele processa áudio e vídeo diretamente durante o raciocínio e gera fala através de um módulo dedicado, pelo que consegue manter o ritmo conversacional, o tom e o contexto sem esperar que ficheiros inteiros terminem.

O primeiro lançamento centra-se numa família de 30 mil milhões de parâmetros que utiliza uma arquitetura Mixture of Experts para manter a inferência rápida e escalável. A Alibaba reporta latências de primeiro pacote tão baixas como 234 milissegundos para áudio e 547 milissegundos para vídeo, com um RTF (fator de tempo real) inferior a um mesmo sob concorrência. O sistema suporta 119 línguas para texto, 19 línguas para entrada de fala e 10 línguas para saída de fala, o que abre as portas a assistentes multilingues, centros de chamadas e tradução em direto.

O lançamento surge enquanto a Alibaba posiciona o seu negócio de nuvem como fornecedor de IA de ponta a ponta e enquanto os modelos chineses de código aberto sobem a pulso nas plataformas de programadores. Em poucos dias, variantes do Qwen3-Omni subiram ao topo dos rankings de tendências no Hugging Face, refletindo um forte interesse da comunidade global. A empresa também está a distribuir uma versão de API mais rápida e a alojar os pesos para descarga direta e implementação local.

O que distingue o Qwen3-Omni

O Qwen3-Omni foi concebido para pensar e falar em paralelo. O componente Thinker trata do raciocínio multimodal. O componente Talker transforma a saída do Thinker em fala natural, condicionando diretamente as características de áudio e visuais. Essa separação permite que os programadores insiram recuperação de informação, verificações de segurança ou lógica de negócio na fase do Thinker antes de qualquer palavra ser pronunciada, o que é útil para fluxos de trabalho regulamentados.

Thinker e Talker

O Thinker é um grande modelo de linguagem treinado com texto, fala, imagens e vídeo ao longo de cerca de 2 biliões de tokens. Utiliza encaminhamento Mixture of Experts, de modo que apenas um pequeno subconjunto de parâmetros se ativa por token. Isso reduz o custo computacional e aumenta o débito. O Talker é um gerador de fala leve que utiliza um esquema autoregressivo multi-codebook para preservar o timbre e a prosódia e uma rede compacta Code2Wav para renderizar áudio rapidamente.

Streaming e cache em tempo real

A latência importa na conversação. A Alibaba reporta streaming com o primeiro token audível em cerca de um quarto de segundo para áudio e cerca de meio segundo para contextos de vídeo. A pilha de áudio inclui um novo codificador Audio Transformer treinado com 20 milhões de horas de áudio supervisionado, sobretudo dados de ASR em chinês e inglês com cobertura global para outras línguas. O codificador suporta tanto cache online para chamadas em direto como codificação offline para trabalhos em lote.

Línguas e contexto longo

Os programadores podem injetar pedidos e transcrições longos. O Thinking Mode suporta até 65.536 tokens de contexto, com cadeias de raciocínio até 32.768 tokens. O Non Thinking Mode suporta até 49.152 tokens. O modelo aceita até 16.384 tokens como entrada e pode gerar até 16.384 tokens de saída em texto. O sistema de fala cobre hoje 10 línguas de saída, um intervalo prático para pilotos globais em apoio ao cliente e assistência no terreno.

Modelos, modos e preços

A Alibaba está a lançar três variantes da família 30B para que as equipas possam ajustar às diferentes necessidades. O modelo Instruct combina a pilha completa de Thinker e Talker para entradas de áudio, vídeo e texto, produzindo depois texto e fala. O modelo Thinking foca-se em raciocínio complexo e cadeias de pensamento longas. Utiliza as mesmas entradas multimodais mas produz apenas texto, o que serve para investigação, análise e registos empresariais conformes. O modelo Captioner é um especialista afinado para legendagem de áudio. Tem como objetivo produzir descrições precisas de música, fala e áudio misto com baixas taxas de alucinação.

O Qwen3-Omni está disponível nos hubs de modelos para descarga, no GitHub para código e pesos, e através da Alibaba Cloud como API, incluindo uma opção Flash mais rápida para serviços interativos. Os novos utilizadores recebem uma quota gratuita de um milhão de tokens, válida por 90 dias após ativação. Para uso pago, o preço é por mil tokens. A entrada de texto custa 0,00025 dólares, a entrada de imagem ou vídeo 0,00046 dólares e a entrada de áudio 0,00221 dólares. Na saída, o texto custa 0,00096 dólares quando a entrada é apenas texto, subindo para 0,00178 dólares quando a entrada inclui imagens ou áudio. Quando os programadores solicitam saída de texto e áudio, a porção de áudio custa 0,00876 dólares por mil tokens e a porção de texto é gratuita.

A saída de áudio está disponível apenas no Non Thinking Mode através da API. Essa escolha simplifica o agendamento de fala em streaming e evita conflitos com raciocínio estruturado de longa duração. As equipas que precisem de cadeias de pensamento ricas ainda podem usar o modelo Thinking para planeamento ou recuperação de informação, entregando depois a resposta final a um renderizador de áudio ou ao modelo Instruct para fala.

Benchmarks e como interpretá-los

A Alibaba reporta resultados fortes em 36 testes públicos, com pontuações em estado da arte em 22 e liderança entre modelos de código aberto em 32. Os números sugerem um sistema equilibrado que mantém a qualidade de texto e visual enquanto avança na fala. Destacam-se tarefas de raciocínio em que o Qwen3-Omni atinge 65,0 no AIME25 e 76,0 no ZebraLogic. O WritingBench fica em 82,6. Na transcrição de áudio, o modelo regista taxas de erro de palavra de 4,69 e 5,89 no Wenetspeech, ao lado de 2,48 no Librispeech other, o que é muito baixo para esse conjunto de dados. As pontuações de etiquetagem e classificação musical, como 93,0 no GTZAN e 52,0 no RUL-MuchoMusic, indicam um bom ouvido para género e características de áudio.

Os benchmarks de visão e matemática também mostram força. O HallusionBench fica em 59,7, o MMMU_pro em 57,0 e o MathVision_full em 56,3. Na compreensão de vídeo, o Qwen3-Omni regista 75,2 no MLVU. Esses resultados colocam-no acima de muitos modelos fechados nesses testes específicos, incluindo GPT 4o e Gemini 2.0 Flash, com base nos números publicados pela Alibaba.

Os benchmarks não captam todos os cenários que os utilizadores enfrentam. As conversas reais podem ser mais ruidosas, os sotaques variam, a iluminação muda e as tarefas de negócio frequentemente encadeiam várias ferramentas. As primeiras revisões independentes apontam que modelos mais pequenos por vezes têm dificuldades fora de testes curados, mesmo quando brilham nos quadros de classificação. Os programadores devem executar provas de conceito com os seus próprios dados, especialmente para casos-limite como jargão de domínio, diagramas especializados ou falantes sobrepostos.

Como se compara ao GPT 4o, ao Gemini e ao Gemma

O Qwen3-Omni entra num campo competitivo que inclui o GPT 4o da OpenAI e o Gemini 2.5 do Google. Esses sistemas são fortes e já integrados em grandes plataformas. São de código fechado. Os utilizadores pagam por chamada e não podem legalmente modificar os modelos base nem redistribuí-los. O Qwen3-Omni é lançado sob Apache 2.0, uma licença permissiva que permite o uso comercial, alterações ao código e aos pesos, e redistribuição. Inclui também uma licença de patente. Essa combinação reduz o risco legal para empresas que precisam de incorporar IA diretamente em produtos ou em infraestruturas privadas.

Funcionalmente, o Qwen3-Omni aceita texto, imagens, áudio e vídeo e pode responder com texto ou fala. O GPT 4o aceita entrada de texto, imagens e áudio e responde com texto e fala, mas não aceita clipes de vídeo na sua configuração central. O Gemini 2.5 Pro pode analisar entrada de vídeo e oferece respostas em texto e fala através dos serviços do Google. A Alibaba posiciona o Qwen3-Omni como um sistema multimodal nativo onde fala e visão são cidadãos de primeira classe e não adaptadores por cima de um núcleo de texto.

O Google também oferece o Gemma 3n em código aberto sob Apache 2.0. O Gemma 3n aceita vídeo, áudio, texto e imagens, mas produz apenas texto. Para equipas que queiram uma pilha totalmente aberta com saída de fala em direto, o Qwen3-Omni pode ser a única opção atual com licença permissiva e geração de fala de originais a funcionar.

Porque é que o Apache 2.0 importa para os adotantes

O licenciamento decide onde é que um modelo pode correr e como pode ser transformado em produto. O Apache 2.0 permite afinamento e redistribuição fechada sem forçar a divulgação de modelos derivados. Inclui uma concessão de patente e uma licença de contribuição. Para indústrias regulamentadas que inspecionam direitos de propriedade intelectual, esses termos reduzem o risco de integração. As empresas podem implementar o Qwen3-Omni nos seus próprios servidores, numa nuvem à escolha, ou na edge, e manter os seus modelos personalizados privados.

Casos de uso empresariais e de programadores

O Qwen3-Omni visa uma vasta gama de tarefas. A pilha multilingue de texto e fala pode alimentar transcrição de centros de chamadas e tradução em direto ao longo de 19 línguas de entrada e 10 línguas de saída. O legendador de áudio pode descrever música, som ambiente e clipes de áudio misto para editores, arquivistas e ferramentas de suporte. O pipeline de visão lê capturas de ecrã e fotografias para OCR e disposição, o que ajuda a automatizar fluxos de trabalho de back office e o onboard de clientes.

A compreensão de vídeo é uma capacidade definidora. Um agente de apoio pode analisar um clipe curto de um telemóvel para identificar uma luz de erro ou um cabo mal ligado. Uma aplicação de manutenção pode acompanhar uma transmissão em direto para confirmar que uma válvula abriu. Como o Thinker e o Talker correm em paralelo, o sistema pode começar a falar enquanto continua a processar os quadros recebidos, mantendo um ritmo semelhante ao humano em cenários sem mãos.

A separação explícita entre pensar e falar dá controlo aos programadores. Os sistemas de recuperação de informação podem introduzir documentos da empresa. Os filtros de política podem triar conteúdo. As verificações de segurança podem examinar os traços de raciocínio antes de o Talker produzir áudio. Este padrão serve assistentes de consumo que têm de manter a marca, resumidores empresariais que têm de evitar fugas de dados e ferramentas de campo que necessitam de orientação passo a passo.

Uso de ferramentas e agentes

O Qwen3-Omni pode ser ligado a ferramentas e serviços externos para tarefas complexas. Isso inclui chamadas de pesquisa, consultas a bases de dados ou ativação de motores de fluxo de trabalho. A Alibaba está também a construir frameworks de agentes na sua plataforma de nuvem para que equipas de baixo e alto código possam compor ferramentas, agendar tarefas e implementar em produção. Com janelas de contexto acima de 49.000 tokens no Non Thinking Mode, o modelo pode manter sessões longas de múltiplos passos e acompanhar ações anteriores.

Adoção, mercados e estratégia

O interesse dos programadores foi rápido. Variantes da família Qwen3 ocupam várias posições de topo nos quadros de tendências do principal hub de modelos, com o Qwen3-Omni-30B-A3B frequentemente em primeiro lugar. Essa visibilidade reflete uma onda mais ampla de modelos chineses de código aberto que estão a conquistar atenção na investigação e na indústria.

Os sinais de mercado apontam no mesmo sentido. As ações da Alibaba recuperaram com a crescente confiança na aposta da empresa em IA e nuvem, com novas subidas de classificação de analistas e renovado interesse de fundos globais. A empresa está a expandir a sua presença em centros de dados para suportar clientes fora da China, com novas instalações no Brasil, França e Países Baixos e capacidade adicional planeada noutras regiões. A Alibaba também tem investido pesadamente em infraestrutura de IA, comprometendo-se a gastar dezenas de milhares de milhões de dólares ao longo dos próximos três anos e indicando que o dispêndio total de capital em IA vai aumentar.

As parcerias de hardware fazem parte do plano. A Alibaba anunciou uma colaboração de software com a Nvidia para integrar ferramentas de desenvolvimento de IA em áreas como treino, simulação e validação. A empresa também pré-anunciou um modelo Qwen3 Max maior, com mais de um bilião de parâmetros, para geração avançada de código e comportamento de agentes, o que mostra como o Qwen3-Omni se insere numa família mais ampla que vai de assistentes interativos a modelos pesados de investigação.

Vozes da Alibaba

O administrador-geral do Grupo Alibaba, Eddie Wu, marcou o tom na conferência anual da empresa em Hangzhou, onde descreveu IA e nuvem como os motores gemelos para a próxima fase de crescimento. Esboçou também planos para expandir centros de dados internacionais e aprofundar parcerias em torno de treino e implementação.

Wu aproveitou o discurso para explicar porque é que a empresa está a aumentar o seu investimento em IA.

IA e nuvem são os motores de crescimento da Alibaba ao lado do comércio eletrónico. Vamos expandir despesas e capacidade para satisfazer a procura global.

Lin Junyang, investigador da equipa Qwen, descreveu como o projeto partiu de trabalhos anteriores em fala e visão para montar o novo sistema.

Combinámos projetos fundamentais de áudio e imagem para construir o Qwen3 Omni.

Riscos, limites e o que observar

Mesmo uma história forte de benchmarks deixa questões em aberto que apenas a utilização em produção pode responder. O áudio do mundo real pode incluir ruído de fundo elevado, sobreposição de falas ou sotaques raros. Os vídeos frequentemente captam ofuscamento, desfoque de movimento ou oclusão. Se o seu serviço necessita de um recall muito elevado em diagramas especializados, ou de transcrição com nível de conformidade num campo estreito, reserve tempo para curadoria de dados e afinamento de domínio.

A versão atual suporta 10 línguas de saída de fala, o que já cobre muitos mercados, mas equipas com necessidades de línguas de cauda longa necessitarão de saída de texto ou motores de fala de terceiros. A separação Thinker-Talker também traz escolhas. Algumas organizações podem preferir manter o raciocínio longo estritamente em texto, sintetizando fala apenas para as respostas finais. Outras aceitarão saídas mais curtas em troca de respostas faladas mais rápidas. Esses compromissos devem ser testados face aos objetivos de experiência do utilizador.

O licenciamento de código aberto é uma vantagem para quem constrói produtos, mas também significa que qualquer um pode adaptar o modelo. As empresas devem usar filtros de conteúdo, deteção de abuso e monitorização de utilização para desincentivar o mau uso. Por outro lado, o Apache 2.0 inclui uma concessão de patente que reduz o risco de propriedade intelectual para os adotantes, um fator chave para as equipas de conformidade empresarial.

O prémio é um assistente multimodal que raciocina entre texto, visão e som com tempos quase humanos. Se o Qwen3-Omni continuar a provar-se fora de avaliações curadas, pode tornar-se a escolha por omissão para equipas que querem controlo local, custos previsíveis e uma ampla comunidade de programadores.

Destaques

• O Qwen3-Omni aceita entradas de texto, imagem, áudio e vídeo e produz texto e fala.
• O modelo é de código aberto sob Apache 2.0 com concessão de patente para uso comercial.
• O Thinker trata do raciocínio, o Talker gera fala, ambos usam Mixture of Experts para velocidade.
• A latência de primeiro pacote reportada é de 234 milissegundos para áudio e 547 milissegundos para vídeo.
• Suporta 119 línguas de texto, 19 línguas de entrada de fala e 10 línguas de saída de fala.
• Estão disponíveis três variantes: Instruct, Thinking e Captioner.
• Os preços da API começam em 0,00025 dólares por mil tokens de texto com um teste gratuito de 1 milhão de tokens.
• Os resultados de benchmark mostram liderança em muitos testes de fala, vídeo e raciocínio.
• Os rankings do Hugging Face e o interesse dos investidores sinalizam uma adoção rápida.
• A Alibaba está a expandir centros de dados e a aprofundar a colaboração com a Nvidia enquanto cresce a família Qwen3.