一项强调使用视觉和惯性传感器进行烦躁运动识别挑战的机器学习研究

过去的医学研究表明，婴儿的运动与早期神经发育密切相关。烦躁运动（Fidgety Movements）是健康婴儿在20周龄前出现的反射样运动，尤为重要，因为过去的研究强调其缺失与脑瘫等神经系统疾病的未来发展密切相关。为了提供及时的干预，提出了全身运动评估（General Movement Assessment）作为由经过专门培训的临床人员进行的筛查医疗程序，以识别烦躁运动。由于其耗费时间和资源，文献中已提出多项使用机器学习技术自动化全身运动评估的方案。然而，迄今为止没有一项能够成为最先进的方法。为了研究这个问题，我们使用深度学习方法学习可解缠的特征表示，用于识别烦躁运动，数据来自95名婴儿（平均年龄：周）的RGB-D视频和惯性测量单元数据。我们的结果表明，虽然可以学习独立于受试者信息的运动特征，但获得能够一致泛化到训练中未见过受试者的特征表示仍然具有挑战性。更具体地，我们观察到基于视觉和基于传感器的模态在识别烦躁运动时都有特定的挑战需要解决。我们讨论这些问题，并为未来有兴趣研究这一问题的研究人员提供建议。