介绍几种典型的深度学习架构。卷积神经网络(CNN)
卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。
典型的卷积网络有两部分。 第一个是负责特征提取,由一对或多对卷积和子采样/最大池化层组成。 第二部分是经典的全连接多层感知器,将提取的特征作为输入。如下图所示。
卷积神经网络架构长短期记忆网络(LSTM)
长短期记忆网络是比较流行的一种网络结构。
LSTM架构
长短期记忆网络用两个门来控制单元状态的内容,一个是遗忘门(forget gate),决定了上一时刻的单元状态有多少能够保留到当前时刻;一个是输入门(input gate),决定了当前时刻网络的输入有多少保留到单元状态。LSTM使用输出门(output gate)控制单元状态有多少输出到LSTM的当前输出值。GRU
GRU是 LSTM 的简化版,但在大多数任务中其表现与 LSTM 不相伯仲。
GRU和LSTM对比
相比LSTM, GRU 有更少的参数,因此相对容易训练且过拟合的问题要轻一些,在训练数据较少时可以尝试使用GRU。
更简化的有迷你GRU。
迷你GRUDB-LSTM
深度双向LSTM
深度双向LSTM卷积残差记忆网络
卷积残差记忆网络是CNN和LSTM的一种结合。
卷积残差记忆网络架构Dynamic NTM
Evolvable Neural Turing Machines
Unsupervised Domain Adaptation By Backpropagation
Deeply Recursive CNN For Image Super-Resolution
Recurrent Model Of Visual Attention
MLP with synthetic gradients
Google’s Neural Machine Translation System
留言与评论(共有 0 条评论) |