多尺度面部视频脉冲提取网络
(资料图片)
心率(HR)可以反映患者的心脏功能。近年来，远程光电容积脉搏波(rPPG)作为一种非接触式心率检测方法，已成为一个活跃的研究课题，吸引了越来越多的研究人员。rPPG 方法适用于基于接触的方法不适用的各种场景，例如监测情绪状态、监测驾驶员[2]、检测生物特征活体和检测伪造视频。rPPG本质上是信号分离，将目标脉冲信号从观测中分离出来。传统的rPPG方法分为基于盲源分离和基于模型的方法。为了解决这一局限性，冯远景教授设计了一个 rPPG 提取网络，该网络包含两个主要部分：可分离时空卷积 (SSTC) 和维度可分离注意 (DSAT)。在不损坏输入特征图的情况下，SSTC 使卷积核在三个方向(HT、WT 和 HW)上移动，以提取时空特征并强调对时间信息的关注。DSAT提取不同方向的特征，然后融合每个方向的特征，得到三维(H、W、T)的一维(1D)特征。根据每个维度上的特征分布得到时空注意力矩阵。实现了空间信息与大跨度时间信息的交互。DSAT提取不同方向的特征，然后融合每个方向的特征，得到三维(H、W、T)的一维(1D)特征。根据每个维度上的特征分布得到时空注意力矩阵。实现了空间信息与大跨度时间信息的交互。DSAT提取不同方向的特征，然后融合每个方向的特征，得到三维(H、W、T)的一维(1D)特征。根据每个维度上的特征分布得到时空注意力矩阵。实现了空间信息与大跨度时间信息的交互。
作者提出了一种基于SSTC和DSAT的多尺度人脸视频脉冲提取网络。在该网络中，原始 ROI 被投影到多个尺度空间以进行初始信号分离。提出了 SSTC 和 DSAT 进行时空相关性的有效建模，用于协同学习具有长时间跨度的时空维度信息并自适应地增强时间特征。出于比较目的，使用 SOTA rPPG 算法对公共数据集进行了实验。结果表明，融合多尺度信号比仅基于单尺度信号的方法产生更好的结果。所提出的 SSTC 和维度可分离的注意机制有助于更准确地提取脉冲信号。在未来的研究中，
