Alibaba Apresenta Modelo de IA Multimodal Qwen3 Omni de Código Aberto

Um novo concorrente de código aberto na IA multimodal

A Alibaba apresentou o Qwen3 Omni, um amplo modelo multimodal capaz de ler texto, observar imagens, ouvir áudio e ver vídeo. Responde em texto e em fala natural. A empresa posiciona-o como um modelo omni nativo de ponta a ponta. Isto significa que o modelo foi concebido desde o primeiro dia para lidar com todos esses inputs em conjunto, em vez de tratar a fala ou a visão como extras acrescentados. Chega quando muitas organizações ponderam os compromissos entre custo e controlo dos modelos de código aberto e dos sistemas proprietários como GPT 4o e Gemini 2.5 Pro. A diferença principal é o acesso. O Qwen3 Omni é lançado sob a licença Apache 2.0, um quadro permissivo que permite a utilização comercial livre, a modificação e a redistribuição. Isso reduz a barreira de entrada para equipas que queiram alojar o modelo em servidores próprios ou lançar produtos sem taxas por utilizador nem dependência de um fornecedor.

O Qwen3 Omni vai também além da triada típica de texto, imagem e áudio. Também consegue analisar vídeo, algo que esteve limitado sobretudo a plataformas fechadas. O modelo suporta 119 línguas em texto, 19 para entrada de fala e 10 para saída de fala, cobrindo as principais línguas e alguns dialetos como o cantonês. Materiais iniciais destacam uma capacidade de transmissão em streaming com resposta conversacional e não por lotes, com áudio no primeiro pacote em cerca de um quarto de segundo e vídeo em cerca de meio segundo. É um limiar importante para assistentes que interrompem, esclarecem e fazem transições rapidamente em contextos em tempo real, como chamadas de suporte ou guiões móveis.

O lançamento inclui três variantes afinadas para tarefas diferentes. Instruct é o modelo conversacional com todas as funcionalidades, Thinking centra-se em raciocínio complexo e longas cadeias de pensamento com saídas em texto, e Captioner especializa-se em legendagem de áudio, onde contam as baixas taxas de alucinação. Os programadores podem aceder aos pesos nos principais repositórios de modelos, executar uma API com uma opção mais rápida Flash, ou fazer fine-tuning para controlo de domínio e estilo. Os benchmarks apresentados pela empresa mostram resultados fortes em tarefas de fala, áudio e vídeo, mantendo ao mesmo tempo o desempenho em texto e visão competitivo com os principais sistemas.

O que distingue o Qwen3 Omni

Várias escolhas técnicas distinguem o Qwen3 Omni. Em primeiro lugar, o seu pipeline de treino mistura dados unimodais e cross-modais desde o início, e depois continua a escalar durante o pré-treino e o pós-treino. Em segundo lugar, o modelo utiliza uma arquitetura Mixture of Experts (mistura de especialistas) que ativa um pequeno subconjunto de parâmetros para cada token. Isto pode melhorar o throughput e reduzir os custos de inferência, o que é importante para aplicações em tempo real e para implementação sob restrições de hardware. Em terceiro lugar, o sistema separa o raciocínio e a fala em dois componentes coordenados chamados Thinker e Talker. O Thinker faz o trabalho pesado na compreensão e no raciocínio multimodal. O Talker converte representações de alto nível em fala que preserva o ritmo e o carácter.

Três variantes de modelo para necessidades distintas

A Alibaba Cloud lançou três opções na família Qwen3 Omni 30B A3B para que as equipas escolham a adequada:

• Instruct, que combina Thinker e Talker para inputs de texto, imagem, áudio e vídeo, com saídas tanto em texto como em fala.
• Thinking, que se centra em raciocínio profundo e longas cadeias de pensamento, aceita os mesmos inputs multimodais e produz apenas texto.
• Captioner, que se destina à legendagem e descrição de áudio com baixa alucinação, útil para análise de media, acessibilidade e fluxos de trabalho de moderação de conteúdo.

A API acrescenta uma variante Flash orientada para menor latência e maior concorrência. Pode ser relevante se estiver a criar um assistente de centro de chamadas ou um guião de compras que precise de lidar com picos de tráfego sem atrasar as respostas.

Por dentro da arquitetura Thinker e Talker

O Qwen3 Omni divide as responsabilidades para manter a fala natural e o raciocínio flexível. O Thinker é o modelo multimodal principal. Alinha e funde características de texto, imagem, áudio e vídeo, e depois produz representações ao nível do token que orientam a resposta. O Talker é um gerador de fala dedicado. Em vez de consumir a saída do Thinker como texto, condiciona-se diretamente às características de áudio e visuais. Essa conceção ajuda o Talker a alinhar a prosódia e o timbre com aquilo que vê e ouve, o que melhora características de tradução e dublagem como o ritmo, a ênfase e o tom emocional.

Para reduzir a latência da fala, o Talker utiliza um esquema autoregressivo multi-codebook que prevê tokens acústicos discretos, e depois uma rede convolucional leve Code2Wav converte esses tokens em formas de onda. Como o Talker está desacoplado do texto do Thinker, módulos externos podem influenciar ou filtrar as saídas do Thinker antes da renderização da fala. Torna os fluxos de trabalho de segurança mais práticos, uma vez que verificações de políticas e etapas de recuperação podem ser executadas entre pensar e falar. O desempenho em streaming é central. Os números da empresa referem áudio no primeiro pacote em cerca de 234 milissegundos e vídeo no primeiro pacote em cerca de 547 milissegundos. O sistema mantém-se abaixo de um fator de tempo real, o que significa que pode gerar áudio mais rapidamente do que a sua duração de reprodução, mesmo ao lidar com múltiplos pedidos.

A arquitetura utiliza Mixture of Experts tanto para o Thinker como para o Talker. No Mixture of Experts, o modelo consiste em muitas pequenas redes de especialistas e uma rede de gating encaminha cada token para algumas delas. Apenas uma pequena fatia de parâmetros corre por token, o que suporta alta concorrência e ajuda a manter a inferência responsiva. Para programadores, isto pode significar a diferença entre um assistente que interrompe e interage, e um bot que espera pela sua vez de falar.

Como foi construído e o que suporta

O desempenho em áudio começa com o encoder. O Qwen3 Omni introduz um Audio Transformer, construído do zero e treinado em cerca de 20 milhões de horas de dados supervisionados. A mistura de treino contém maioritariamente dados de reconhecimento automático de fala em chinês e inglês, com dados adicionais de outras línguas e tarefas centradas na compreensão de áudio. O encoder tem cerca de 600 milhões de parâmetros, suporta caches de streaming para baixa latência e pode funcionar offline para tarefas de análise como gravações longas. Alimenta o núcleo multimodal através de etapas de alinhamento para que o modelo possa raciocinar entre formatos.

O pré-treino seguiu três estágios. No alinhamento do encoder, os encoders de visão e áudio foram treinados e alinhados enquanto o modelo de linguagem se mantiu congelado. No treino geral, a equipa escalou para cerca de 2 biliões de tokens que incluem texto, áudio, imagens e alguns pares de vídeo e áudio-vídeo. No treino de contexto longo, a duração máxima de tokens expandiu-se de 8.192 para 32.768, incorporando mais sequências longas de áudio e vídeo. O pós-treino incluiu fine-tuning supervisionado, destilação de professores mais fortes e otimização de políticas usando regras e juízos do modelo para o Thinker. O Talker passou por um regime de quatro estágios que usou centenas de milhões de amostras de fala multimodal combinadas com pré-treino contínuo, com o objetivo de reduzir a alucinação e melhorar a qualidade da voz.

As capacidades e limites são amplos para uma família de 30 biliões de parâmetros. O Qwen3 Omni suporta 119 línguas em texto, 19 para entrada de fala e 10 para saída de fala. O Thinking Mode permite uma janela de contexto de 65.536 tokens, o Non Thinking Mode suporta 49.152 tokens, e o modelo suporta até 16.384 tokens de entrada e 16.384 tokens de saída. A cadeia de pensamento mais longa pode chegar a 32.768 tokens. Essa escala ajuda com transcrições complexas, reuniões longas, ou bases de código e documentos que excederiam outros modelos sem segmentação.

Benchmarks, pontos fortes e como ler as alegações

Num conjunto alargado de 36 benchmarks, a Alibaba afirma que o Qwen3 Omni pontua no topo em 22 e é o líder entre os modelos de código aberto em 32. Os resultados de texto e raciocínio incluem um 65.0 no AIME25, muito superior ao valor divulgado para o GPT 4o em 26.7, e um 76.0 no ZebraLogic, acima do número publicado para o Gemini 2.5 Flash em 57.9. O WritingBench mostra 82.6, contra 75.5 do GPT 4o. Em fala e áudio, as Word Error Rates no Wenetspeech são 4.69 e 5.89 contra duas divisões de teste comuns, bem à frente dos 15.30 e 32.27 referidos para o GPT 4o. O Librispeech other desce para 2.48 WER, valor baixo entre os pares.

Os resultados de imagem e visão incluem 59.7 no HallusionBench, 57.0 no MMMU pro e 56.3 no MathVision full, cada um acima do GPT 4o no relatório da empresa. Para compreensão de vídeo, o modelo atinge 75.2 no MLVU, ultrapassando os valores apresentados para o Gemini 2.0 Flash em 71.0 e o GPT 4o em 64.6. As tarefas de música também mostram ganhos, com 93.0 no GTZAN e 52.0 no RUL MuchoMusic. O retrato pintado por estes números é coerente com o foco de conceção. O Qwen3 Omni estabelece um nível elevado para a compreensão de áudio e áudio-visual, mantendo ao mesmo tempo fortes competências em texto e imagem.

Os benchmarks são úteis, mas continuam a ser testes controlados. Os conjuntos de dados e a pontuação podem favorecer certas misturas de treino. As implementações reais expõem novas tensões como microfones ruidosos, sotaques, câmaras de telemóvel de má qualidade e mudanças rápidas de contexto. Os modelos multimodais enfrentam também um compromisso comum. Treinar para a abrangência entre modalidades pode consumir uma pequena parte do desempenho apenas em texto, em comparação com modelos maiores, orientados primeiro para o texto. As equipas devem executar pilotos focados nos seus próprios dados e depois escolher uma estratégia de modelo misto se necessário. Muitas empresas combinam um modelo multimodal menor que ouve e olha com um modelo de texto maior que redige relatórios ou e-mails. A licença Apache aberta facilita esse tipo de orquestração sem fricções de aquisição.

Como se compara ao GPT 4o, Gemini 2.5 Pro e Gemma 3n

A OpenAI definiu expectativas com o GPT 4o, que unificou texto, imagem e áudio com acoplamento estreito e fala natural. O Qwen3 Omni acrescenta análise de vídeo à lista de inputs. A Google trouxe análise de vídeo no Gemini 2.5 Pro, mas continua proprietário. A Google oferece também o Gemma 3n como modelo aberto, que aceita inputs de texto, imagem, áudio e vídeo, mas produz apenas texto. O Qwen3 Omni produz texto e fala, o que altera a gama de utilizações interativas como tradução ao vivo ou transições de agente em centros de chamadas.

Outro ponto de distinção é a licenciamento. O Qwen3 Omni é publicado sob Apache 2.0 com uma licença de patente, o que permite às empresas usar, modificar e lançar produtos sem serem obrigadas a divulgar o código-fonte nem a pagar taxas de execução. Os modelos fechados exigem acesso pago e prendem a utilização a uma plataforma do fornecedor. Há uma nuance comum nas publicações abertas modernas. Os pesos e o código de utilização estão abertos, mas a receita completa para reconstruir do zero, incluindo os dados de treino curados, não é geralmente pública. Para muitos adotantes, a capacidade de executar o modelo, fazer fine-tuning e integrá-lo em produção é o objetivo principal, e isso é concedido aqui.

A latência é competitiva. A Alibaba lista áudio no primeiro pacote em cerca de 234 milissegundos e vídeo em cerca de 547 milissegundos. Está na mesma classe dos melhores sistemas conversacionais. As empresas devem avaliar objetivos de nível de serviço para além dos tempos de primeiro pacote, incluindo o tempo até conteúdo estável e o tempo total de resposta para respostas longas. O Qwen3 Omni traz também uma variante Flash na API para resposta ainda mais rápida, semelhante em espírito aos níveis focados na velocidade de outros ecossistemas.

Acesso, preços e quota gratuita

Os programadores podem experimentar o Qwen3 Omni de várias formas. Os pesos estão disponíveis nos principais repositórios de modelos. A API oferece acesso sob procura com uma quota gratuita de um milhão de tokens em todas as modalidades durante 90 dias após a ativação. O preço é por mil tokens. A entrada de texto custa 0,00025 dólares. A entrada de áudio custa 0,00221 dólares. A entrada de imagem e vídeo custa 0,00046 dólares. A saída de texto custa 0,00096 dólares por mil tokens quando os inputs são apenas texto, ou 0,00178 dólares quando os inputs incluem imagem ou áudio. Se pedir saída de texto mais áudio, a porção de áudio custa 0,00876 dólares por mil tokens e a porção de texto é gratuita.

Estes números são baixos em comparação com muitas ofertas fechadas, o que suporta experimentações sem faturas elevadas. O preço do Thinking Mode e do Non Thinking Mode é o mesmo, segundo a empresa. A saída de áudio está limitada ao Non Thinking Mode. A plataforma também lista limites de contexto e opções de modelo dentro do Model Studio, onde as empresas podem selecionar modelos por velocidade, qualidade e custo. Os detalhes oficiais estão disponíveis nas páginas do Alibaba Cloud Model Studio em este link.

Casos de utilização, dos balcões de apoio às ferramentas de media

O Qwen3 Omni destina-se a tarefas onde ver, ouvir e fazer a diferença. Alguns exemplos ilustram a gama:

• Apoio técnico em direto. Um assistente pode acompanhar a transmissão da câmara de um telemóvel enquanto ouve o cliente, e depois dar orientações passo a passo com uma voz natural.
• Transcrição e tradução multilingue. O modelo transcreve reuniões, chamadas ou palestras em várias línguas, produz depois um resumo em inglês ou fala as respostas noutra língua.
• Legendagem de áudio e etiquetagem musical. A variante Captioner escreve descrições de áudio com baixa alucinação, incluindo sons de fundo e características musicais, úteis para pesquisa e gestão de direitos.
• Compreensão de vídeo. O modelo pode responder a perguntas sobre o que aconteceu num clipe, rastrear eventos e resumir cenas.
• OCR e entrada de documentos. Combinar visão com linguagem ajuda a extrair campos de formulários ou recibos e depois validá-los no contexto.
• Assistentes para consumidores. Dispositivos vestíveis ou telemóveis podem usar o modelo para tradução de menus, identificação de monumentos e funcionalidades de acessibilidade como descrever o ambiente.

Os programadores podem fazer fine-tuning do estilo de conversa e da personalidade através de prompts de sistema. É suportada a utilização de ferramentas para que o modelo possa invocar serviços externos de recuperação, cálculos ou consultas a bases de dados. Isso permite padrões de estilo agente, em que o modelo planeia, invoca ferramentas e reporta de volta em fala.

Licenciamento e impacto empresarial

O licenciamento Apache 2.0 é uma parte importante da história. Permite a utilização comercial, a modificação e a redistribuição, e inclui uma licença de patente que reduz o risco jurídico ao integrar o modelo em sistemas proprietários. As empresas podem incorporar o Qwen3 Omni em produtos ou fluxos de trabalho internos sem taxas ao fornecedor, e não têm de abrir o código das suas alterações. É atraente para setores regulados onde é exigido controlo sobre o encaminhamento e o registo de dados. Os pesos abertos permitem também implementação em infraestruturas próprias ou alojamento numa cloud de confiança.

O lançamento aberto não resolve automaticamente todas as preocupações. Os dados de treino e o código completo de treino não estão tipicamente incluídos, o que significa que a comunidade não consegue reproduzir toda a construção. Para muitas empresas, isso é aceitável, já que o foco está em executar o modelo, personalizá-lo e cumprir os objetivos de nível de serviço. O lançamento reforça a argumentação a favor de pilhas multi-modelo. As equipas podem combinar um modelo multimodal aberto e rápido com um modelo proprietário maior onde isso fizer sentido, ou manter tudo aberto para evitar restrições de plataforma. De qualquer forma, a disponibilidade de um modelo com capacidade de vídeo e fala sob uma licença permissiva expande o que pode ser construído sem longas negociações.

Riscos, salvaguardas e o que avaliar a seguir

Os modelos multimodais levantam questões de segurança que vão além do texto. Os inputs de áudio e vídeo podem conter informações sensíveis. A saída de fala pode induzir em erro se não estiver fundamentada ou filtrada. A Alibaba detalha um passo de controlo onde módulos externos podem intercetar as saídas do Thinker antes da renderização da fala pelo Talker. Essa conceção suporta verificações de políticas, recuperação ou filtros de equipas de redação adversarial. As empresas devem na mesma validar a segurança do conteúdo no seu próprio ambiente e região, incluindo defensas contra injeção de prompts, controlos de privacidade e consentimento para gravação ou análise.

As alegações de desempenho devem ser testadas com dados reais. Sotaques, jargão de domínio e ruído de fundo podem degradar a qualidade do reconhecimento automático de fala. Pouca luz ou desfoque de movimento podem degradar a compreensão visual. A utilização de ferramentas e a orquestração de agentes introduzem novos modos de falha, como invocações incorretas de ferramentas ou loops. São necessárias políticas de governança para registo, revisão humana e reversão. Por fim, a infraestrutura importa. Executar fala em tempo real à escala exige planeamento cuidadoso de throughput, memória GPU e gestão de sobrecarga. O Mixture of Experts ajuda à eficiência, mas as equipas têm de dimensionar clusters e caches para picos e para contextos longos.

Pontos-Chave

• A Alibaba lançou o Qwen3 Omni como modelo aberto sob Apache 2.0, com saídas de texto e fala e inputs de texto, imagens, áudio e vídeo.
• O sistema utiliza uma conceção Thinker e Talker com Mixture of Experts para concorrência e fala em streaming com baixa latência.
• As latências de primeiro pacote referidas são de cerca de 234 milissegundos para áudio e cerca de 547 milissegundos para vídeo, sob um fator de tempo real.
• Estão disponíveis três variantes: Instruct para interação completa, Thinking para raciocínio profundo em texto e Captioner para legendagem de áudio.
• O treino inclui um Audio Transformer personalizado treinado em cerca de 20 milhões de horas e um corpus multimodal de cerca de 2 biliões de tokens.
• Em benchmarks apresentados pela empresa, o Qwen3 Omni lidera em muitos testes de áudio, vídeo e raciocínio, mantendo-se competitivo em texto e visão.
• O preço é baixo por mil tokens, com uma quota gratuita de um milhão de tokens durante 90 dias através da API, e os pesos estão disponíveis para alojamento próprio.
• O licenciamento Apache 2.0 permite a utilização comercial, a modificação e a redistribuição com concessão de patente, reduzindo a dependência do fornecedor.
• As empresas devem testar segurança, latência e precisão com dados reais, e planear a governança e a infraestrutura para suportar cargas de trabalho em tempo real.