Alibaba Revela Qwen3-Omni: Modelo de IA Multimodal de Código Aberto

Porque é isto importante agora: a IA multimodal aberta chega ao grande público

A Alibaba lançou o Qwen3-Omni, um modelo de inteligência artificial multimodal de acesso livre que consegue receber texto, imagens, áudio e vídeo como entrada e responder em texto ou fala natural em tempo real. A empresa apresenta-o como o primeiro sistema omni-modal nativo de ponta a ponto que integra os quatro tipos de entrada num único modelo, em vez de os acrescentar posteriormente. O lançamento surge num mercado onde os principais sistemas da OpenAI e da Google continuam proprietários, criando um contraste acentuado entre plataformas fechadas e uma alternativa de código aberto que qualquer pessoa pode descarregar, modificar e implementar sob a licença Apache 2.0.

A promessa é direta. Empresas e programadores obtêm um modelo que funciona em múltiplas modalidades com baixa latência, ampla cobertura linguística e ferramentas para moldar as respostas. As implicações vão além dos padrões técnicos. Uma licença aberta e amigável para empresas elimina o lock-in do fornecedor e dá às organizações a opção de executar o modelo na sua própria infraestrutura. Essa é uma diferença significativa num momento em que muitas empresas procuram equilibrar custo, controlo e desempenho nas suas pilhas de IA.

O Qwen3-Omni chega após uma vaga de modelos omni. O GPT-4o da OpenAI combinava texto, imagem e áudio. O Gemini 2.5 Pro da Google acrescentou análise de vídeo. Esses sistemas continuam pagos e fechados. O Qwen3-Omni traz compreensão de vídeo, entrada por voz e saída de fala num único pacote que a comunidade pode inspecionar e ampliar. O lançamento também reflete a ascensão dos projetos chineses de IA aberta que estão a atrair uma adoção considerável nas plataformas de programadores e a remodelar o mapa competitivo.

O que é o Qwen3-Omni e como funciona

O Qwen3-Omni utiliza uma arquitetura de duas partes chamada Thinker e Talker, cada uma otimizada para uma fase diferente do processo. O Thinker trata da compreensão multimodal, do raciocínio e da geração de texto. O Talker transforma as saídas aprovadas em fala e coordena a fala com o visual. Ambos os componentes assentam numa arquitetura Mixture of Experts, que divide o modelo em grupos especializados de parâmetros que só se ativam quando é útil. Isso torna a inferência mais rápida e mais escalável, porque o modelo não precisa de executar todos os parâmetros em todos os pedidos.

Thinker e Talker, explicados

No Qwen3-Omni, o Thinker recebe as entradas, funde os sinais de texto, imagens, áudio e vídeo e produz a resposta principal em forma de texto. É aqui que podem correr o raciocínio de contexto longo, a utilização de ferramentas, a recuperação de informação e os filtros de segurança. Essencialmente, o Talker não é obrigado a condicionar-se aos tokens de texto do Thinker. Em vez disso, condiciona-se diretamente às características de áudio e visuais. Essa escolha permite ao sistema produzir fala que corresponde ao ritmo e à ênfase do orador original durante a tradução, ou coordenar o ritmo da fala com o que aparece no ecrã. Também permite o controlo de fluxos de trabalho, uma vez que módulos externos podem rever ou ajustar as saídas do Talker antes de este as transformar em áudio.

Para a fala, o Qwen3-Omni utiliza uma abordagem autorregressiva multi-codebook que prevê tokens acústicos compactos e depois os renderiza em formas de onda através de uma rede leve Code2Wav. O design reduz a latência sem comprometer o detalhe vocal. O codificador de áudio, chamado Audio Transformer, foi treinado de raiz para suportar tanto o uso em streaming como o processamento offline.

Criado para streaming de baixa latência

O Qwen3-Omni destina-se a utilização ao vivo e conversacional. O sistema regista uma latência de primeiro paceto de ponta a ponta de cerca de 234 milissegundos para áudio e cerca de 547 milissegundos para vídeo. Mantém-se abaixo de um fator de tempo real, o que significa que pode gerar saída tão rápido ou mais rápido do que a entrada é recebida. Isso é importante para agentes de voz, copilotos de centros de contacto, transcrição de reuniões e qualquer cenário em que os atrasos quebram o fluxo.

Cobertura linguística e limites de contexto

O modelo suporta 119 línguas em texto, 19 em entrada de voz e 10 em saída de fala. Consegue lidar com interações longas. O Modo Thinking oferece uma janela de contexto de 65.536 tokens e a cadeia de raciocínio mais longa chega aos 32.768 tokens. O Modo Non Thinking usa um contexto de 49.152 tokens. A entrada e a saída máximas são ambas de 16.384 tokens. Estes limites determinam quanto conteúdo o modelo consegue ingestar e produzir numa única sessão, o que é especialmente relevante para transcrições de vídeo e documentos extensos.

Versões e opções de implementação

A Alibaba está a lançar três versões do Qwen3-Omni-30B-A3B, cada uma ajustada para uma função diferente.

O modelo Instruct combina Thinker e Talker. Aceita texto, imagens, áudio e vídeo e responde em texto e fala. O modelo Thinking concentra-se em raciocínio e tarefas de cadeias longas de pensamento. Aceita as mesmas entradas mas devolve apenas texto. Isso torna-o adequado para situações em que respostas escritas detalhadas importam mais do que a voz. O modelo Captioner é afinado para legendagem de áudio e produz descrições textuais detalhadas com foco em baixas alucinações. Em conjunto, o conjunto cobre interação multimodal alargada, raciocínio aprofundado e compreensão de áudio especializada.

O Qwen3-Omni está disponível para uso local e através de nuvem. Os programadores podem descarregar os pesos do repositório oficial e dos hubs comunitários, ou invocar uma variante Flash mais rápida através da API da Alibaba. Um guia de início rápido, cookbooks para tarefas como reconhecimento de fala, tradução, análise musical, OCR e diálogo audiovisual, bem como notas de implementação Docker, são fornecidos na documentação do projeto. O repositório GitHub está aqui: https://github.com/QwenLM/Qwen3-Omni.

Para equipas que experimentam a API alojada, a Alibaba oferece uma quota gratuita de um milhão de tokens em todas as modalidades, válida por 90 dias após a ativação. A saída de áudio está disponível apenas no Modo Non Thinking ao usar a API. Estes detalhes são importantes para planear pilotos e estimar custos durante os primeiros experimentos.

Pipeline de treino num relance

O Qwen3-Omni foi treinado num processo multietapas que combina pré-treino em grande escala com pós-treino direcionado. O Audio Transformer serve como codificador de áudio com cerca de 0,6 mil milhões de parâmetros. Foi treinado com 20 milhões de horas de áudio supervisionado. A mistura de dados era de cerca de 80 por cento de reconhecimento de fala em chinês e inglês, 10 por cento de reconhecimento de fala de outras línguas e 10 por cento de tarefas de compreensão de áudio. Este codificador foi concebido tanto para cache em tempo real como para processamento offline.

O pré-treino seguiu três fases. Na primeira fase, chamada alinhamento de codificadores, os codificadores de visão e áudio foram treinados enquanto o núcleo do modelo de linguagem permanecia congelado. Isso impediu que a perceção do modelo se degradasse durante a fusão inicial. A segunda fase, chamada treino geral, utilizou um conjunto de dados de cerca de 2 biliões de tokens que cobria texto, áudio, imagens e quotas mais pequenas de vídeo e amostras áudio-vídeo. A terceira fase estendeu o comprimento máximo de tokens de 8.192 para 32.768, com mais conteúdo de áudio e vídeo longo para reforçar o tratamento de sequências longas.

O pós-treino abordou tanto o raciocínio como a qualidade da fala. O Thinker recebeu fine-tuning supervisionado, destilação de forte para fraco e otimização GSPO com uma mistura de feedback baseado em regras e pontuação de modelo como juiz. O Talker seguiu um processo de quatro fases com centenas de milhões de amostras de fala multimodal e pré-treino contínuo sobre dados curados. Os objetivos eram taxas de alucinação mais baixas e maior naturalidade da fala.

Desempenho e onde se destaca

Nos padrões públicos reportados pela empresa, o Qwen3-Omni mostra resultados fortes em fala, áudio e compreensão de vídeo, mantendo pontuações elevadas em texto e visão. Lidera em muitos rankings abertos e apresenta resultados competitivos face a sistemas fechados.

Em texto e raciocínio, o modelo pontua 65,0 no AIME25 e 76,0 no ZebraLogic. No WritingBench atinge 82,6. Em fala e áudio, regista taxas de erro de palavra de 4,69 e 5,89 no Wenetspeech e 2,48 no Librispeech other. As tarefas musicais também mostram força, com 93,0 no GTZAN e 52,0 no RUL MuchoMusic. Em imagem e visão, o HallusionBench atinge 59,7, o MMMU pro 57,0 e o MathVision full 56,3. Em vídeo, reporta 75,2 no MLVU. Estes números, se reproduzidos por avaliações independentes, indicam um modelo que equilibra tarefas clássicas de texto com compreensão avançada de áudio e vídeo.

Duas nuances merecem atenção. Primeiro, muitos resultados são auto-reportados. A replicação independente em suites de testes mais vastas dará uma imagem mais completa do desempenho quotidiano. Segundo, construir um modelo que cubra quatro tipos de entrada pode introduzir trade-offs. Os materiais da empresa procuram demonstrar paridade entre modalidades, mas alguns revisores da comunidade observaram casos em que versões anteriores e mais focadas em texto do Qwen oferecem uma saída de texto puro ligeiramente mais forte em tarefas restritas. Essa é a tensão conhecida entre modelos especialistas e generalistas. A versão atual estreita essa lacuna, desbloqueando comportamento cross-modal que os especialistas não conseguem igualar.

Preços, quotas e limites de utilização

O Qwen3-Omni é open source para implementação local sob a licença Apache 2.0. Para acesso gerido através da API da Alibaba, a facturação é feita por tokens. O Modo Thinking e o Modo Non Thinking partilham as mesmas taxas por token. A saída de áudio só é oferecida no Modo Non Thinking.

Custos de entrada por 1.000 tokens

• Entrada de texto: 0,00025 dólares dos Estados Unidos
• Entrada de áudio: 0,00221 dólares dos Estados Unidos
• Entrada de imagem ou vídeo: 0,00046 dólares dos Estados Unidos

Custos de saída por 1.000 tokens

• Saída de texto com entrada apenas de texto: 0,00096 dólares dos Estados Unidos
• Saída de texto quando a entrada inclui imagem ou áudio: 0,00178 dólares dos Estados Unidos
• Saída de texto mais áudio: 0,00876 dólares dos Estados Unidos pela porção de áudio, o texto é gratuito

Nível gratuito: um milhão de tokens em todas as modalidades, válido por 90 dias após a ativação. Os limites de contexto são consideráveis, com 65.536 tokens no Modo Thinking e 49.152 no Modo Non Thinking. A entrada máxima única é de 16.384 tokens e a saída máxima é de 16.384 tokens. A cadeia de raciocínio mais longa chega aos 32.768 tokens. Estes tetos orientam como fragmentar conteúdos mediáticos longos e documentos durante a utilização em produção.

Porque é importante para as empresas

A licença é uma parte central da história. A Apache 2.0 concede direitos de uso comercial, modificação e redistribuição. Inclui uma licença de patente, o que reduz o risco jurídico quando o modelo se torna parte de sistemas proprietários. Não existe obrigação de publicar o trabalho derivado, o que facilita a adoção por empresas que precisam de manter variantes afinadas em privado. Isto é o oposto de uma caixa-negra controlada pelo fornecedor onde os custos, os limites de taxa e o comportamento do modelo podem mudar sem recurso possível.

O lançamento também influencia decisões de arquitetura. Muitas organizações estão a migrar para uma pilha multi-modelo. Misturam modelos abertos e fechados por tarefa, combinam modelos rápidos e pequenos para trabalho rotineiro com outros maiores para raciocínio complexo e mantêm certas cargas de trabalho em instalações próprias para controlo de dados. A amplitude do Qwen3-Omni torna-o um candidato para cenários com muita fala, ambientes multilingues e fluxos de trabalho ricos em vídeo. Lidar com múltiplas modalidades num único modelo pode reduzir o número de sistemas separados que precisam de ser treinados e mantidos.

Uma implementação bem-sucedida continua a exigir disciplina. Revisões de segurança, controlos de privacidade, estruturas de avaliação e pipelines de fine-tuning continuam a ser requisitos mínimos. A natureza aberta do modelo facilita a auditoria e a otimização, mas também coloca a responsabilidade pela segurança e conformidade do lado de quem o adota. As equipas que investirem em MLOps, utilização de ferramentas e guardrails extrairão o maior valor.

Casos de utilização: dos centros de contacto ao serviço de campo

A Alibaba destaca uma vasta gama de cenários que exploram os pontos fortes do modelo. Transcrição e tradução multilingues podem ser combinadas com saída de fala de baixa latência para conversas ao vivo. A legendagem de áudio apoia a produção de media e a acessibilidade de conteúdos. O OCR e a compreensão de documentos estendem-se a imagens de formulários, recibos e diagramas. A etiquetagem musical e a análise de som ajudam bibliotecas mediáticas e ferramentas criativas. A compreensão de vídeo permite indexação, navegação e seguimento de instruções a partir de tutoriais ou demonstrações de equipamento.

Um exemplo ilustrativo é o suporte técnico. Um cliente pode transmitir vídeo a partir de um telemóvel enquanto o modelo lê texto no ecrã, ouve áudio ambiente e fornece orientação passo a passo com respostas faladas. Outro é um assistente vestível que traduz menus ou sinalização em tempo real. Os programadores também podem orientar o comportamento com prompts de sistema para definir tom, persona e limites de domínio, e podem ligar recuperação de informação, calculadoras ou ferramentas de terceiros para estender as capacidades.

Sinais de adoção e contexto global

A tração inicial sugere um forte interesse da comunidade de programadores. Variantes do Qwen3-Omni subiram ao topo das listas de modelos em alta nos populares hubs de IA, com outros modelos Qwen a preencher lugares adicionais no topo. Este surto evidencia uma mudança mais ampla em direção a sistemas abertos por parte de equipas chinesas que competem de frente com incumbentes ocidentais. Nos mercados, as ações da Alibaba em Hong Kong subiram ligeiramente acima de quatro por cento num dia de grande visibilidade para o lançamento.

A alternativa aberta vai exercer pressão sobre a estratégia de preços e de produto dos sistemas fechados, especialmente em casos de utilização com muito áudio e vídeo. Empresas que precisam de testar ideias sem processos de compra demorados podem agora executar um modelo omni-modal a custo reduzido. Se o desempenho no mundo real acompanhar os padrões reportados, este lançamento poderá acelerar a adoção de assistentes multimodais em centros de contacto, produção de media, educação, transcrição em saúde e manutenção industrial.

Em resumo

• O Qwen3-Omni é um modelo de código aberto que aceita texto, imagem, áudio e vídeo e responde em texto e fala, otimizado para utilização em tempo real.
• O sistema utiliza uma arquitetura Thinker e Talker com Mixture of Experts para velocidade e escala, além de um Audio Transformer e um renderizador Code2Wav personalizados.
• Os objetivos de latência são de cerca de 234 milissegundos para áudio e cerca de 547 milissegundos para vídeo, com streaming abaixo de um fator de tempo real.
• A cobertura linguística abrange 119 línguas em texto, 19 em entrada de voz e 10 em saída de fala, com janelas de contexto longas até 65.536 tokens.
• Estão disponíveis três variantes: Instruct para E/S multimodal completa, Thinking para raciocínio apenas em texto e Captioner para legendagem de áudio detalhada.
• Código aberto sob Apache 2.0, com uma quota gratuita de um milhão de tokens para ensaios de API e preços por token para acesso alojado.
• Os padrões reportados pela empresa mostram resultados fortes em fala, áudio, vídeo e texto, com múltiplas pontuações de estado da arte.
• As empresas obtêm um caminho sem custos para implementar, personalizar e executar IA multimodal sem lock-in do fornecedor, desde que invistam em avaliação e segurança.
• A adoção pela comunidade é rápida, com modelos Qwen em alta nas plataformas de programadores e um crescente interesse em sistemas chineses de IA aberta.