Fusão de Dados de Vídeos RGB e Pontos-Chaves para Classificação de Movimentos Gerais de Bebês

A detecção de atipicidade na execução dos movimentos espontâneos de bebês, chamados de movimentos gerais, pode ajudar na identificação precoce de distúrbios do neurodesenvolvimento e consequente início precoce de intervenção. Os movimentos gerais podem ser avaliados por meio de vídeos utilizando técnicas de aprendizado de máquina. Neste trabalho, nós classificamos os movimentos dos bebês em típicos e atípicos a partir de uma base de vídeos própria, dos quais são gerados dois canais de dados: os próprios vídeos RGB e pontos-chaves. Os dados providos por cada canal são empregados para treinar dois modelos de classificação baseados em rede neural de convolução 3D, um para cada canal. Os modelos são combinados via função de fusão. Os resultados mostram que a fusão dos modelos alcança taxas de classificação superiores às taxas obtidas pelos modelos treinados com dados providos por cada canal individualmente.