人大 ML 研究组提出新的视频测谎算法
今年的 CVPR 2019，卢志武博士领导的中国人民大学信息学院机器学习（ML）组共有 3 篇论文被录用，论文主题涵盖视频识别、小样本学习、视觉对话等热点问题，本文中要解读的论文便是其中关于视频识别的一篇：《面向视频测谎的聚焦人脸的跨帧双流网络》「Face-Focused Cross-Stream Network for Deception Detection in Videos」。
该论文提出了一种新颖的视频测谎算法，这种算法只需要少量的视频数据进行训练，并在训练后对短视频进行测试。实验结果显示，该测谎算法的准确率高达 90% 以上，同时在结合语音和 word2vec 信息后，这一准确率可以进一步提高至 95% 以上。
一、问题简介
视频测谎，即是检测视频中的人物对象是否说谎。目前，视频测谎问题还面临着两大挑战：(1) 如何有效地融合面部和动作信息来判断视频中人物对象是否说谎；(2) 真实的视频数据集规模很小，如何将深度学习应用在数量有限的训练数据上。为了解决这两个问题，本文提出了 face-focused cross-stream network（FFCSN）模型。
二、模型方法
不同于常见的双流网络模型（two-stream network）利用空间流捕捉视频帧整体静态空间特征以及利用时间流捕捉视频光流动态特征的做法，FFCSN 模型考虑将人脸检测用于空间流来捕捉面部特征，并在整个网络中利用相关学习来融合时空特征进行联合训练。
同时，论文作者结合心理学知识（即说谎者由于紧张, 其面部表情和身体姿势往往会不一致），发现双流法中的图像特征和光流特征逐帧对应匹配并不是视频测谎的最优解决方案。因此，作者提出了跨帧的双流网络 (cross-stream network)——这种网络可以捕捉面部表情和身体姿势不一致的关系。利用这种网络，视频中的每一个面部表情帧都隔一定间距匹配五个光流帧，并让模型自动学出这五帧之间的权重关系。此外，论文作者还将时间流 ResNet 的 block3 使用全局池化层将其变为向量，使得模型经过两组全连接和一个 softmax 层后，能够学习到五个动作帧之间的权重关系。通过学习这个模块，模型具有了对不同的动作帧赋予不同权重的能力。
具体来说，该方法将每个视频分成 K 个片段，对于每一个片段，随机抽样一帧表情帧和五个动作帧。
其中代表这五个动作帧之间的权重的总和为 1。令代表模型对的分类概率以及代表对一个视频所有片段的平均分类概率
此外，FFCSN 模型还引入了元学习（meta learning）和对抗学习（adversarial learning）来解决训练数据量小的问题。元学习使用了 relation 的思想, 通过学习数据之间的关系来提高模型的泛化能力，而对抗学习在训练时使用生成的「假」特征向量攻击模型分类器来达到扩充数据量的目的。
元学习模块的网络结构。容易看出，模型从每个 mini-batch 中选出了两对六元组，每一对六元组中有两个样本来自同一类别，另外四个样本则来自不同类别。取相同类别的两个样本其中的一个作为 anchor，让它与另外五个配对组成五对数据，因此这样得出的结构就有一对类别相同的样本和四对类别不同的样本，接着在训练后，再由卷积和全连接层后对这五对数据进行分类，使模型能够选出类别相同的一对。结果证明，这种度量学习的思想对于小数据集上的增益十分明显。
此处是用 G（Generator）生成虚拟的 feature vector，之后用 D（Discriminator）进行判别以增强模型的鲁棒性，从而解决小样本的问题。
由于模型由前面介绍的三个子模块组成，总的损失函数即为这三部分的加和。论文作者将这三部分联合训练，取得了不错的实验结果。
四、团队介绍
中国人民大学信息学院机器学习（ML）组由卢志武博士，以及 20 名博士生与硕士生组成，隶属于文继荣教授的大数据分析团队。目前，人大 ML 组已经在 TPAMI、IJCV、NIPS、CVPR 等国际顶级期刊/会议上发表 40 余篇论文，主持了 NSFC、KJW 等多个国家科研项目，还曾获人工智能国际权威评测 ImageNet 2015 视频检测任务亚军。
![SiS001! Board - [第一会所 关闭注册]](images/green001/logo.png){kind=logo}
