动作至关重要:神经动作转移以提高相机生理感知能力 Motion Matters: Neural Motion Transfer for Better Camera Physiological Sensing

基于相机的生理测量的机器学习模型可能因缺乏代表性的训练数据而具有弱的泛化能力。在从视频中恢复微弱的心脏脉搏时,身体运动是最显著的噪音来源之一。我们探索了运动转移作为一种数据增强形式,以介绍运动变化同时保留生理变化。我们适应了一种神经视频合成方法来增强远程光电容积脉搏图(PPG)的视频,并研究了运动增强对于1)幅度和2)运动类型的影响。在运用公开可用的数据集增加了运动增强版本的训练后,所呈现的与数据集之间的结果在五个基准数据集上显示出相对于现有最先进结果的75%的改进。我们的发现说明了将运动转移作为数据增强技术来提高基于相机的生理感知的模型泛化能力的实用性。我们在我们的项目页面上发布了我们的代码和预训练模型,以使用运动转移作为数据增强技术:https://motion-matters.github.io/。

论文链接:http://arxiv.org/pdf/2303.12059v1

更多计算机论文:http://cspaper.cn/

Related posts