0%

【论文笔记】GCN

本周工作

Graph Convolutional Networks for Temporal Action Localization [2019 ICCV]

motivation

目前二阶段TAL方法:首先生成一系列时序提名,再分别对每个提名做分类和边界回归。在这个learning过程中没有利用proposal之间的关系。但事实是,proposal之间的关系在TAL中扮演着非常重要的角色,于是作者提出使用Graph Convolutional Networks来探索proposal之间的关系。

方法

构建图

上下文边(Contextual Edges)

[公式] ,我们就在proposal [公式][公式] 之间建立一条边, 这里[公式]是一个特定的阈值, [公式] 代表proposal之间的相关性,被tIoU定义。

周围边(Surrounding edges)

上下文边将重叠proposal连接起来,而这些proposal通常对应相同的action instance。事实上,也可以将种类不同但是nearby的动作(包括背景)关联起来,并且它们之间传递的信息将有助于彼此检测。

为了处理这种相关性,我们首先利用 [公式] 查询不同种类的提议,然后计算以下距离,如果 [公式] 就在nearby proposals之间添加边。

image-20220228193152721

实验

image-20220228201158024

image-20220228201429808

实验结果分析

  1. 在THUMOS14上的实验结果很好。
  2. 在activitynet上的结果仅仅利用P-GCN结果不是很好。添加了UntrimmedNet网络的结果才超过了BSN的结果。

思考

在activitynet上可能是一个视频大部分都是只有一个动作,并且行为类别数比较多,不能很好的发挥提议与提议之间的关系。

图卷积方法

最大的贡献是发掘了proposal之间潜在的关系。

图的边是人为定的,可能存在误差。有没有可能把构建图的过程也变成网络学习的过程?

计划

  • 目前对上学期的论文调研已经做了总结,接下来要尽快完成TAL领域的综述 并发表。(1~2个月)
  • 时序动作定位领域继续学习新的论文、做实验,尽早确定具有可行性方法思路。(一项长期工作。计划:每周至少学习1~2篇论文,每两周完整地仿真一篇论文;所有论文阅读和实验做好整理和归纳)
  • 希望可以结合一些具体的项目来进一步锻炼自己的代码能力。(如果有的话)



-------------------本文结束 感谢您的阅读-------------------