循环神经网络（Recurrent Neural Network，RNN）

$$\begin{align} \end{align}$$

1 循环神经网络结构

数据集

$$\big\{\left(\mathbf{x}_t,\mathbf{y}_t\right)\big\}_{t=1}^T$$

其中，
第$t$时刻输入数据$\mathbf{x}_t=\left(x_t^{\left(1\right)},x_t^{\left(2\right)},\dots,x_t^{\left(n\right)}\right)^{\top}\in\mathbb{R}^n,$
第$t$时刻输出数据$\mathbf{y}_t=\left(y_t^{\left(1\right)},y_t^{\left(2\right)},\dots,y_t^{\left(m\right)}\right)^{\top}\in\mathbb{R}^m$

循环神经网络模型结构

$$\begin{align} \left\{ \begin{array}{**lr**} \mathbf{h}_t=f\left(\mathbf{W}\centerdot\mathbf{x}_t+\mathbf{U}\centerdot\mathbf{h}_{t-1}\right) & \\ {\mathbf{y}}_t=f\left( \mathbf{V}\centerdot\mathbf{h}_t\right) \\ \end{array} \right. \end{align}$$

其中，$\mathbf{h}$为隐状态，$f\left(\cdot\right)$为非线性激活函数，$\mathbf{U},\mathbf{W},\mathbf{V}$为模型参数。

2 长短期记忆神经网络（Long Short Term Memory，LSTM）

遗忘们：

$$\mathbf{f}_t=\sigma\left(W_{fh}\mathbf{h}_{t-1}+W_{fx}\mathbf{x}_t+\mathbf{b}_f\right)$$

输入门：

$$\begin{align} \mathbf{i}_t &= \sigma\left(W_{ih}\mathbf{h}_{t-1}+W_{ix}\mathbf{x}_t+\mathbf{b}_i\right) \\ \tilde{\mathbf{c}}_t &= \tanh\left(W_{ch}\mathbf{h}_{t-1}+W_{cx}\mathbf{x}_t+\mathbf{b}_c\right) \end{align}$$

输出门：

$$\begin{align} \mathbf{c}_t&=\mathbf{f}_t\circ\mathbf{c}_{t-1}+\mathbf{i}_t\circ\tilde{\mathbf{c}}_t \\ \mathbf{o}_t&=\sigma\left(W_{oh}\mathbf{h}_{t-1}+W_{ox}\mathbf{x}_t+\mathbf{b}_o\right) \\ \mathbf{h}_t&=\mathbf{o}_t\circ\tanh\left(\mathbf{c}_t\right) \end{align}$$

3 门控循环单元（Gated Recurrent Unit，GRU）

更新门：

$$\mathbf{z}_{t}=\sigma\left(W_{z} \cdot\left[\mathbf{h}_{t-1}, \mathbf{x}_{t}\right]\right)$$

重置门：

$$\mathbf{r}_{t}=\sigma\left(W_{r} \cdot\left[\mathbf{h}_{t-1}, \mathbf{x}_{t}\right]\right)$$

输出门：

$$\begin{aligned} \tilde{\mathbf{h}}_{t} &=\tanh \left(W \cdot\left[\mathbf{r}_{t} \circ \mathbf{h}_{t-1}, \mathbf{x}_{t}\right]\right) \\ \mathbf{h} &=\left(1-\mathbf{z}_{t}\right) \circ \mathbf{h}_{t-1}+\mathbf{z}_{t} \circ \tilde{\mathbf{h}}_{t} \end{aligned}$$