生成对抗网络（Generative Adversarial Networks） \begin{align} \end{align}1. GAN生成对抗网络的原理及实现模型结构及优化 目标函数： V\left(D,G\right)=\mathbb{E}_{\mathbf{x}\sim p_{data}\left(\mathbf{x}\right)}\left[\log D\left(\mathbf{x}\right)\right]+\mathbb{E}_{\mathbf{z}\sim p_\mathbf{z}\left(\mathbf{z}\right)}\left[\log\left(1-D

迁移学习（Transfer Learning） \begin{align} \end{align}1 迁移学习的形式化定义领域$\mathcal{D}$：数据及数据的概率分布源领域$\mathcal{D}_s=\{\left(\mathbf{x}_i,y_i\right)|P_s\left(\mathbf{x}_i\right)\}_{i=1}^n$目标领域$\mathcal{D}_t=\{\mathbf{x}_j|P_t\left(\mathbf{x}_j\right)\}_{j=n+1}^{n+m}$ 迁移学习（Transfer Learning）：给定有标记源领域$\mathcal{D}

A Neural Probabilistic Language Model \begin{align} \end{align}1 统计语言模型与n-gram模型统计语言模型可描述为给定前序词序列后，下一单词出现的条件概率的乘积： \hat P\left(w_1^T\right)=\prod_{t=1}^T\hat P\left(w_t|w_1^{t-1}\right)其中，$w_t$是第$t$个单词，$w_i^j=\left(w_i,w_{i+1},\dots,w_{j-1},w_j\right)$是从第$i$个单词到第$j$个单词的子序列。 n-gram模型可描述为给定前$n-1$个单词后，

前馈神经网络（Feedforward Neural Network，FNN） \begin{align} \end{align}1 前馈神经网络结构及前向传播训练数据集\begin{align} \\& T = \left\{ \left( \mathbf{x}_{1}, y_{1} \right), \left( \mathbf{x}_{2}, y_{2} \right), \cdots, \left(\mathbf{x}_i,y_i\right),\cdots,\left( \mathbf{x}_{N}, y_{N} \right) \right\} \end{align}其中，$

循环神经网络（Recurrent Neural Network，RNN） \begin{align} \end{align}1 循环神经网络结构数据集 \big\{\left(\mathbf{x}_t,\mathbf{y}_t\right)\big\}_{t=1}^T其中，第$t$时刻输入数据$\mathbf{x}_t=\left(x_t^{\left(1\right)},x_t^{\left(2\right)},\dots,x_t^{\left(n\right)}\right)^{\top}\in\mathbb{R}^n,$第$t$时刻输出数据$\mathbf{y}_t=\left(y_

卷积神经网络（Convolutional Neural Network，CNN） \begin{align} \end{align}卷积神经网络一般由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，使用误差反向传播算法进行训练。 1 卷积基础一维卷积：信号发生器每个时刻$t$产生一个信号$x_t$，生成信号序列$\left(x_1,x_2,\cdots,x_t,\cdots\right)$。其信息衰减率为$w_k$，即在$k-1$个时间步长后信息为原来的$w_k$倍，将$\left(w_1,w_2,\cdots,w_k,\cdots\right)$称为滤波器或卷积核。 设滤波器序列为$\l

条件随机场（Conditional Random Field，CRF） \begin{align} \end{align}图是由结点及连接结点的编组成的集合。结点记作$v$，结点集合记作$V$；边记作$e$，边的集合记作$E$；图记作$G=\left(V,E\right)$。 概率图模型是由图表示的概率分布。设由联合分布$P\left(Y\right)$，$Y \in \mathcal{Y}$是一组随机变量。由无向图$G=\left(V,E\right)$表示概率分布$P\left(Y\right)$，即在图$G$中，结点$v \in V$表示一个随机变量$Y_{v}$，$Y=\left(Y_

隐马尔科夫模型（Hidden Markov Model，HMM） \begin{align} \end{align}1 隐马尔科夫模型定义状态集合Q=\left\{q_{1},q_{2},\ldots ,q_{N}\right\} 观测集合\begin{align} & V=\left\{v_{1},v_{2},\ldots ,v_{M}\right\} \quad \left| V\right| =M \end{align} 状态序列\begin{align} & I=\left\{i_{1},i_{2},\ldots ,i_{t},\ldots,i_{T}\righ

潜在狄利克雷分配（latent Dirichlet allocation, LDA） \begin{align} \end{align} 潜在狄利克雷分配模型定义： 单词集合 W=\left\{w_1,w_2,\cdots,w_v,\cdots,w_V\right\}其中，$w_v$是第$v$个单词，$v=1,2,\cdots,V$，$V$是单词的个数。 文本集合 D=\left\{\mathbf{w}_1,\mathbf{w}_2,\cdots,\mathbf{w}_m,\cdots,\mathbf{w}_M\right\}其中，$\mathbf{w}_m$是第$m$个文本，$m

马尔科夫链蒙特卡罗法（Markov Chain Monte Carlo，MCMC） \begin{align} \end{align}1 蒙特卡洛法蒙特卡洛法要解决的问题是，假设概率分布的定义已知，通过抽样获得概率分布的随机样本，并通过得到的随机样本对概率分布的特征进行分析。 蒙特卡洛的法有直接抽样法、接受-拒绝抽样法、重要性抽样法等，其核心是随机抽样。 接受-拒绝算法：输入：抽样的目标概率分布的概率密度函数$p\left(x\right)$；输出：概率分布的随机样本$x_1,x_2,\cdots,x_n$。 选择概率密度函数为$q\left(x\right)$的概率分布作为建议分布，使