Apple testa o HALO no Unitree G1 e anuncia uma taxa de sucesso de 91% em divisões não mapeadas

Um robô treinado em casas virtuais enfrenta divisões reais

Investigadores da Apple afirmam que o seu sistema de controlo humanoide HALO completou tarefas físicas individuais com uma taxa média de sucesso de 91% em 360 ensaios, realizados em seis ambientes reais que nunca tinham sido digitalizados nem mapeados pelo sistema. A funcionar num Unitree Robotics G1, o sistema aplicou o que aprendeu em simulação para se deslocar por espaços desconhecidos, sentar-se em móveis, passar por aberturas estreitas e empurrar caixas.

Os resultados são apresentados no estudo Perceptive Humanoid Motion from Simulation, submetido ao arXiv a 4 de novembro de 2026. O artigo da equipa da Apple descreve um treino com cerca de 300 horas de exemplos sintéticos em 1.000 ambientes domésticos gerados por computador, seguido da transferência direta do sistema para um robô físico.

As tarefas mais longas foram mais difíceis. Num ambiente real diferente, o HALO alcançou uma taxa média de sucesso de 70% em três combinações de ações, cada uma repetida 10 vezes. A sequência em que tinha de se baixar para passar por baixo de um obstáculo, aproximar-se de um alvo e empurrar uma caixa foi concluída em cinco de 10 tentativas.

O avanço prático consiste em ligar a compreensão de um pedido ao movimento de um corpo inteiro entre móveis desconhecidos. Uma ordem como sentar-se numa cadeira exige que o robô identifique o assento, encontre um percurso, posicione o corpo e mantenha o equilíbrio enquanto se senta. O HALO distribui estas responsabilidades por três camadas de controlo que trabalham em conjunto.

Os autores são Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller e Vladlen Koltun, todos identificados com afiliações à Apple. Lançaram também código que abrange a geração de dados, o treino e a implementação, incluindo planeamento de tarefas, geração de movimentos e acompanhamento de movimentos em simulação e em robôs físicos.

O que abrange o resultado de 91%

As seis competências individuais tiveram diferentes taxas de sucesso. Agachar-se foi a ação com melhor resultado, enquanto sentar-se foi a menos bem-sucedida entre as ações testadas:

• Deslocar-se até a um objeto indicado: 92%.
• Sentar-se num móvel: 85%.
• Passar por uma porta parcialmente aberta: 93%.
• Agachar-se para passar por baixo de um obstáculo: 100%.
• Rastejar por baixo de um obstáculo: 90%.
• Empurrar uma caixa: 88%.

A diferença entre agachar-se e sentar-se foi de 15 pontos percentuais. Sentar-se implica mais do que chegar ao local certo: o robô tem de se alinhar com o móvel e transferir o peso para o assento. Isso exige tanto da sua compreensão visual como do controlador físico.

Os seis ambientes de avaliação eram desconhecidos do HALO. Os investigadores não os tinham digitalizado previamente nem usado durante o treino. O artigo designa este processo por transferência zero-shot, ou seja, o sistema passou do treino em simulação para esses ambientes físicos sem treino adicional para cada local.

As demonstrações mostram também o G1 a seguir uma pessoa, a sentar-se num sofá, a deslocar-se de lado por uma porta parcialmente aberta e a baixar-se ou rastejar por baixo de uma mesa. Estes movimentos ilustram como o sistema ajusta a postura ao espaço à sua volta, em vez de simplesmente caminhar em direção a um destino.

Porque são mais difíceis as instruções longas

As três combinações de tarefas do HALO produziram resultados mais díspares. Passar por uma porta e depois deslocar-se até um alvo foi bem-sucedido nas 10 tentativas. Agachar-se e depois sentar-se teve sucesso em seis. Agachar-se, aproximar-se de um alvo e empurrar uma caixa teve sucesso em cinco.

No conjunto, foram 21 sequências bem-sucedidas em 30 tentativas, ou 70%. São menos 21 pontos percentuais do que a média das tarefas individuais, embora os ensaios com sequências tenham decorrido noutro ambiente e incluído menos tentativas.

Uma sequência cria mais oportunidades para algo correr mal, porque o resultado de um movimento determina a posição inicial do seguinte. Por exemplo, ao sair de debaixo de um obstáculo, o robô tem de ficar numa posição que lhe permita aproximar-se do alvo e executar o movimento seguinte.

O HALO lida com este problema através de verificações visuais. O seu planeador analisa o vídeo na perspetiva do robô, avalia se a ação atual foi bem-sucedida e decide se deve prosseguir ou tentar novamente. Os resultados mostram que ligar competências úteis continua a ser mais difícil do que executá-las separadamente.

Três camadas transformam um pedido em movimento

A camada de controlo superior trata do planeamento de tarefas. Utiliza um modelo de visão e linguagem, um tipo de IA que processa imagens e palavras, para interpretar um pedido em conjunto com o que a câmara capta. O modelo predefinido é o Qwen3.6-35B-A3B, executado localmente num Mac mini transportado pelo robô.

O planeador é ativado de dois em dois segundos. Se alguém pedir ao robô que se sente sem indicar um assento, este tem de escolher um objeto adequado que esteja no seu campo de visão. Se uma mesa bloquear o caminho até uma cadeira, pode dividir o pedido em ações mais pequenas: baixar-se para passar por baixo do obstáculo, aproximar-se da cadeira e sentar-se.

A camada intermédia transforma cada subtarefa num plano de movimento. Combina o Qwen3.5-2B, cujos parâmetros do codificador permanecem fixos durante o treino, com um descodificador transformer de difusão que gera movimentos de corpo inteiro. Um codificador converte a imagem e a instrução numa representação que o modelo de movimento pode usar; o descodificador produz as poses planeadas.

Esta camada antecipa cerca de cinco segundos e volta a planear aproximadamente três vezes por segundo. Assim, atualiza continuamente o movimento pretendido com novas imagens da câmara, em vez de se comprometer com uma ação de cinco segundos sem verificar o que o rodeia.

A camada inferior, designada por seguidor de movimentos, converte esses planos em comandos para as articulações 50 vezes por segundo. Combina imagens de profundidade com informação sobre a posição e o movimento do próprio robô, ajudando-o a seguir o plano e a ter em conta o equilíbrio, o contacto e os limites dos motores.

Um Mac mini viaja no G1

A configuração física inclui um Mac mini com um chip M4 Pro e 64 GB de memória unificada, instalado num compartimento de proteção nas costas do G1. Este computador executa os modelos mais exigentes de planeamento de tarefas e geração de movimentos. O processador integrado do G1 executa o seguidor de movimentos.

Um suporte de cabeça personalizado aloja uma câmara OAK-1W. A transmissão de vídeo a cores tem uma resolução de 1280 por 800 píxeis, funciona a 30 fotogramas por segundo e abrange um campo de visão de 120 graus. A visão ampla ajuda o sistema a observar os móveis e as aberturas próximos enquanto o corpo se move.

O robô funciona sem ligação por cabo, com os componentes do software a comunicar através do ZeroMQ, um sistema de mensagens. A configuração local predefinida funciona sem ligação à Internet. O HALO também pode recorrer a um modelo na nuvem através de uma interface de programação de aplicações, quando configurado para tal.

A divisão do trabalho computacional acompanha a hierarquia de controlo. A compreensão de um pedido pode ocorrer com menos frequência, enquanto manter estável um robô em movimento exige atualizações muito mais rápidas. O gerador de movimentos calcula um novo plano enquanto o seguidor continua a executar o atual, evitando que o robô pare sempre que o modelo precisa de fazer cálculos.

Como 1.000 casas virtuais fornecem exemplos de treino

O processo de treino do HALO responde a uma carência específica: exemplos que relacionem o que um humanoide vê, aquilo que lhe é pedido e a forma como deve mover o corpo inteiro. Os vídeos comuns mostram imagens de ações, mas o treino deste sistema exige que essas imagens estejam associadas a instruções e a movimentos detalhados do robô.

Os autores descrevem o tempo necessário em alguns métodos que recolhem demonstrações através da operação humana ou de dispositivos de gravação usados no corpo:

Como uma pessoa tem de executar manualmente cada episódio, uma hora de dados custa, no mínimo, uma hora de trabalho humano.

Em vez disso, o HALO cria exemplos correspondentes em simulação. O processo começa com uma tarefa dividida em segmentos de movimento. Sentar-se num cadeirão, por exemplo, pode implicar caminhar em frente, dar meia-volta e baixar-se para o assento. Instruções de texto, pontos de passagem no percurso e poses-chave orientam um modelo de geração de movimentos chamado Kimodo.

Em seguida, verificações geométricas automatizadas avaliam os movimentos candidatos à procura de problemas como pés a deslizar, corpos a atravessar o chão, saltos bruscos e articulações a ultrapassar os seus limites. O processo seleciona o melhor candidato antes de colocar o movimento numa divisão virtual.

O Infinigen, um gerador procedural de cenários, fornece 1.000 ambientes com diferentes disposições e mobiliário, incluindo salas de estar, escritórios e quartos. O sistema procura posições em que o movimento planeado do robô e o objeto-alvo se ajustem sem colidir com os móveis à volta.

Um simulador gera depois imagens do que o robô veria durante a ação, usando uma câmara olho de peixe simulada e adaptada à configuração física. Alterações à iluminação, exposição, cor, contraste, desfocagem e ruído do sensor tornam as imagens mais variadas. Cada exemplo resultante associa uma instrução, uma imagem da câmara e o movimento corporal correspondente.

O custo computacional e o trabalho humano

A geração do principal conjunto de dados de treino demorou cerca de 48 horas, com recurso a 250 processadores gráficos Nvidia H100. Estes processadores, habitualmente designados por GPU, realizam muitos cálculos em paralelo, permitindo produzir grandes quantidades de dados simulados de uma só vez.

O gerador de ações foi treinado através de aprendizagem por imitação, com 64 GPU Nvidia B200. Na aprendizagem por imitação, um modelo aprende a reproduzir comportamentos exemplificados. O seguidor de movimentos foi treinado com quatro GPU H100, através de uma combinação de aprendizagem por reforço e destilação de políticas.

A aprendizagem por reforço treina um controlador através de tentativas e de feedback sobre a qualidade do seu desempenho. A destilação de políticas transfere comportamentos aprendidos para outro modelo. No HALO, estes métodos ajudam o seguidor a transformar poses planeadas em movimentos que o robô físico consegue executar.

As pessoas continuam a definir algumas partes do processo. Para acrescentar uma nova tarefa física, é necessário escrever instruções e conceber poses-chave; alguns movimentos recorrem também a vídeos de pessoas ou a dados de captura de movimento. Depois de definidas as descrições e restrições das tarefas, o processo pode reutilizá-las em muitas divisões geradas.

A mudança está, portanto, na forma como se multiplicam as demonstrações. Em vez de exigir que uma pessoa execute cada episódio, o HALO usa recursos computacionais para gerar e verificar muitas variações de uma tarefa.

A visão não resolve o problema do contacto

Segundo os investigadores, o HALO depende atualmente sobretudo da visão e não consegue detetar o contacto diretamente. O desempenho pode diminuir em tarefas que envolvam contacto físico significativo, quando um objeto sai do campo de visão da câmara ou fica oculto por outro objeto.

Empurrar uma caixa mostra por que razão isso é importante. O robô tem de manter o corpo na posição certa em relação à caixa enquanto ambos se movem. A câmara fornece informação sobre a posição visível, enquanto os sensores táteis poderiam fornecer informação sobre o contacto, útil mesmo quando a visão está obstruída.

Os investigadores apontam a deteção tátil como uma possível via para trabalhos futuros. Não indicam qualquer calendário para a sua introdução. Os resultados atuais delimitam concretamente o desafio: o HALO consegue executar várias competências orientadas pela visão em divisões desconhecidas, mas é menos fiável em sequências mais longas e em interações que envolvam contacto.

O que muda com esta investigação

O estudo da Apple reúne a geração de dados de treino, o planeamento baseado em linguagem e o controlo físico num único sistema que funciona num humanoide, em divisões que nunca encontrou. O resultado mais sólido é a transferência de 1.000 ambientes simulados para 360 ensaios físicos, sem mapeamento prévio dos seis locais de teste.

O código disponibilizado permite dar continuidade à investigação em simulação e com hardware. Abrange tanto os mecanismos de produção de exemplos de treino como os modelos e o software necessários para gerar, acompanhar e coordenar movimentos.

Para alguém que peça a um robô que se sente ou mova uma caixa, a fiabilidade depende de toda a cadeia funcionar em conjunto: reconhecer o objeto certo, chegar até ele, estabelecer contacto e concluir o movimento. Os resultados do HALO nas tarefas individuais mostram progressos ao longo dessa cadeia. Os resultados das sequências indicam onde ainda é preciso trabalhar para combinar várias ações com a mesma consistência.

Principais pontos

• Investigadores da Apple submeteram o estudo Perceptive Humanoid Motion from Simulation ao arXiv a 4 de novembro de 2026.
• O HALO alcançou uma taxa média de sucesso de 91% em 360 ensaios de tarefas individuais, realizados em seis ambientes reais desconhecidos e não mapeados.
• Três combinações de tarefas tiveram uma taxa média de sucesso de 70% em 30 ensaios noutro ambiente real.
• O sistema combina o planeamento de tarefas, a geração de movimentos e um seguidor que envia comandos às articulações 50 vezes por segundo.
• O treino recorreu a cerca de 300 horas de exemplos sintéticos em 1.000 ambientes gerados.
• Um Mac mini transportado pelo Unitree G1 permite o funcionamento local sem ligação à Internet.
• A conceção humana das tarefas continua a fazer parte do treino, e a capacidade limitada de deteção do contacto continua a ser uma fragilidade.