Pesquisadores do Georgia Tech desenvolveram uma abordagem de treinamento que reduz tempo e custo para ensinar um robô humanoide a caminhar em terrenos irregulares do mundo real. A equipe testou o humanoide em superfícies como areia, grama encharcada, cascalho, declives, escadas e terreno plano. O projeto foi liderado pelo doutorando em aprendizado de máquina Feiyang Wu, que concebeu um novo controlador de corpo inteiro.
O trabalho repensa o método tradicional de aprendizado por reforço com ensino entre professor e aluno. No procedimento padrão, um agente "professor" é treinado primeiro na simulação com informações detalhadas e depois ensina um agente "aluno" que terá menos informações, como um robô físico. Os pesquisadores notaram dois problemas: o treinamento sequencial demora muito e pode desperdiçar dados úteis coletados pelo professor. Além disso, as simulações exigem muitas horas de computação em GPUs, o que torna o processo caro.
A solução proposta foi treinar professor e aluno simultaneamente. Assim, o professor ensina gradualmente o aluno enquanto continua aprendendo e também incorpora os dados gerados pelo aluno. Essa mudança reduz a lacuna de imitação entre professor e aluno e acelera o treinamento. Depois de treinar em simulação, a equipe implantou o controlador em um humanoide real no laboratório de Ye Zhao; o robô caminhou de forma estável e adaptou-se a empurrões e puxões. A estrutura "Learn to Teach" foi projetada para ser genérica, aplicável a outros projetos de robôs e a tarefas além da caminhada. O trabalho foi apoiado pelo Office of Naval Research, pelo US Department of Agriculture e pela National Science Foundation, e foi apresentado na IEEE International Conference on Robotics and Automation em colaboração entre a George W. Woodruff School of Mechanical Engineering e a School of Computational Science and Engineering.
Palavras difíceis
- abordagem — modo ou estratégia para resolver um problema
- humanoide — robô com forma semelhante à de um humano
- controlador — sistema que regula movimentos do corpo do robôcontrolador de corpo inteiro
- simulação — experiência feita por computador que imita a realidade
- lacuna — diferença entre comportamento ideal e observadolacuna de imitação
- sequencial — que ocorre em etapas uma depois da outra
- incorporar — incluir informação ou dados dentro de um sistemaincorpora
- implantar — colocar em funcionamento no mundo realimplantou
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Que vantagens e desafios você imagina em treinar professor e aluno simultaneamente?
- Como a redução do tempo e do custo de treinamento pode afetar o desenvolvimento de robôs no futuro?
- Em que outras tarefas além da caminhada a estrutura "Learn to Teach" poderia ser aplicada?
Artigos relacionados
Por que modelos de linguagem falham ao multiplicar 4 dígitos
Pesquisa mostra que métodos de treino comuns não permitem que modelos guardem resultados intermédios, por isso falham ao multiplicar dois números de quatro dígitos. Um método chamado ICoT aprendeu a armazenar esses valores e teve sucesso.
