Non-local Neural Networks

Abstract

提出non-local operations 加入到NN中用于获取long-range dependencies（间断时间画面之间的联系）。如图所示，在$X_i$点的response为所有箭头指向特征的加权和。与$X_i$相关性越强的特征，权重越大。

Introduction

常用的Conv和recurrent操作都是基于local neighborhood获取long-range dependencies，其缺点为计算低效，optimization困难，难以利用多个远距离block间的联系信息。因此提出non-local 操作加入到NN中，

NL操作不考虑2个位置间的距离，直接计算两者间的关联以获取long-range dependence。

Related Work

self attention

Non-local Neural Networks

Formulation

DNN中non-local操作定义如下：

$$\textbf y_i = \frac{1}{\mathcal C(\textbf x)} \sum_{\forall j} f(\textbf x_i, \textbf x_j) g(\textbf x_j). \tag{1}$$ $i$：输出位置的index，$j$：所有可能位置的index。$\textbf x$:输入信号，$\textbf y$：与$\textbf x$同size的输出信号，$f()$：关系描述函数，$g()$:输入信号在j位置的特征，$\mathcal C(\textbf x)$:归一化系数。

式（1）表示所有位置在一个operation中都会考虑到，只是赋予的权重不同，所有叫non-local。而conv只关注相邻，而recurrent只关注之前的time step。

Instantiations

举一些$g(),f()$采用函数的例子，$g()$可以是linear embedding：$g(\textbf x_j)=W_g \textbf x_j$。

Gaussian

$$f(\textbf x_i, \textbf x_j) = e^{\textbf x_i^T \textbf x_j}. \tag{2}$$ 其中：$\textbf x_i^T \textbf x_j$为点积相似度，对应$\mathcal C(\textbf x) = \sum_{\forall j} f(\textbf x_i, \textbf x_j)$

Embeded Guassian

$$f(\textbf x_i, \textbf x_j) = e^{\theta(\textbf x_i)^T \phi(\textbf x_j)}. \tag{3}$$ 其中： $$\theta(\textbf x_i) = W_\theta \textbf x_i,\phi(\textbf x_j) = W_\phi \textbf x_j,\mathcal C(\textbf x) = \sum_{\forall j} f(\textbf x_i, \textbf x_j)$$ $\frac{1}{\mathcal C(x)} f(\textbf x_i, \textbf x_j)$：$\textbf x_i对应 \textbf x_j$的softmax即$y = softmax(x^TW^T_θ W__φx)g(x)$。

Dot product

$$f(\textbf x_i, \textbf x_j) = \theta(\textbf x_i)^T \phi(\textbf x_j). \tag{4}$$ 其中： $$\theta(\textbf x_i) = W_\theta \textbf x_i，\phi(\textbf x_j) = W_\phi \textbf x_j，\mathcal C(\textbf x) = N$$ N为X中positions 的总数。

Concatenation

$$f(\textbf x_i, \textbf x_j) = \text{ReLU} (\textbf w_f^T[\theta(\textbf x_i), \phi(\textbf x_j)]). \tag{5}$$ 其中$[\cdot, \cdot]$为concatenation。

Non-local Block

将式（1）的non-local operation 加入到non-local block，block的定义如下：

$$\textbf z_i = W_z \textbf y_i + \textbf x_i, \tag{6}$$ 其中$\textbf y_i,\textbf x_i$采用residual connection，这样做可以使non-local block插入到pre-train的NN中。具体操作如下：

reference

https://walkccc.github.io/blog/2018/10/27/Papers/nonlocal-nn/