RoboMus: Compensação de Atraso Mecânico e Sincronização Rítmica em Robôs Musicais

Nome: Higor Araújo Fim Camporez
Tipo: Dissertação de mestrado acadêmico
Data de publicação: 28/05/2020
Orientador:

Nomeordem decrescente Papel
Helder Roberto de Oliveira Rocha Orientador
Jair Adriano Lima Silva Co-orientador

Banca:

Nomeordem decrescente Papel
Arnaldo Gomes Leal Júnior Examinador Interno
Evandro Menara Miletto Examinador Externo
Helder Roberto de Oliveira Rocha Orientador
Jair Adriano Lima Silva Coorientador

Resumo: As atividades musicais como uma ferramenta de diversão, entretenimento, interação social, expressividade criativa e outros se tornaram aliadas do ser humano no seu cotidiano. Os avanços tecnológicos têm propiciado a criação de ferramentas que apoiem as atividades voltadas a música, por exemplo, o computador. A interseção entre a tecnologia e a música proporcionou a criação de áreas de pesquisa como ubimus (ubiquitous music), que faz uso de sistemas ubíquos com agentes humanos e recursos materiais (ferramentas de suporte a criatividade) para criação musical, e a área de IoMusT (Internet of Musical Things), que propicia aplicações de ubimus em infraestrutura de IoT (Internet of Things). Sendo que essas duas áreas englobam-se no desenvolvimento de instrumentos musicais robóticos, podendo estes serem controlados por humanos, através de interfaces de interação, ou autônomos. Este trabalho visa desenvolver uma plataforma para performances musicais robóticas controladas por interfaces de interação, centralizando esforços no desenvolvimento de estratégias de sincronização, além de demonstrar o desenvolvimento de um bongô robótico (BongoBot). A plataforma faz uso do protocolo de comunicação musical Open Sound Control (OSC) para definir todos os formatos das mensagens de comunicação, onde o formato definido visa não limitar as futuras gerações de robôs, assim sendo, cada robô pode enviar suas ações específicas com os seus parâmetros de controle. Como o foco do trabalho encontra-se na sincronização dos robôs, algoritmos de macrossincronização são propostos utilizando SNTP (Simple Network Time Protocol) para sincronização de relógio e redes neurais pra treinamento e compensação dos atrasos mecânicos presente nos robôs. Para microssincronização implementou-se um módulo perceptual autônomo, onde utiliza-se o processamento de áudio em tempo real para que o robô possa “ouvir” e acompanhar ritmicamente uma performance. Os testes para macrossincronização foram feitos com dois robôs musicais, as redes neurais apresentaram erro RMSE de 0,82% e 1,2%. Também foi alcançado uma melhoria de até 55,33% no atraso médio da performance sem compensação do atraso mecânico e, ainda, todos os atrasos entre as batidas dos robôs ficaram abaixo do limiar da percepção sonora humana, estipulado em 20ms. A microssincronização (módulo perceptual autônomo) foi aplicada ao BongoBot para sincronização rítmica com um metrônomo, uma avaliação numérica mostrou que 80% dos casos ficaram com atraso médio abaixo de 20ms e uma avaliação perceptual, desenvolvida por pessoas através de um questionário, demonstrou que 55% dos testes tiveram acima de 70% dos votos sim para a pergunta: Você considera que os pulsos sonoros nesse áudio estão em sincronia?.
Palavras-chave: Performances Musicais Robóticas. Sincronização de robôs. Ubimus. Internet das Coisas Musicais. Compensação de atrasos mecânicos. Sincronização Rítmica. Redes Neurais.

Acesso ao documento

Acesso à informação
Transparência Pública

© 2013 Universidade Federal do Espírito Santo. Todos os direitos reservados.
Av. Fernando Ferrari, 514 - Goiabeiras, Vitória - ES | CEP 29075-910