在我们探究循环神经网络之前
先回忆一下我们在前馈神经网络中使用的过程
我们在输入和输出之间可能有许多隐藏层
不过为了简便 我们从一个隐藏层开始
我们会提醒自己使用它的原因
时间和方式
在我们对数学背景也有了清晰认识之后
我们会采取下一步 开启通向循环神经网络的大门
你会发现一旦扎实掌握前馈网络的基础知识
通往循环神经网络之路非常简单
你可能熟悉卷积神经网络概念
简称 CNN
执行神经网络时
你会发现可以综合利用这些技巧
例如人们可以在起初几层使用卷积神经网络
进行特征提取
然后在需要考虑存储的最后一层使用循环神经网络
这方面常见应用是手势识别
不过不必担心 如果你不了解卷积神经网络 也没关系
这不是这堂课的重点
利用前馈神经网络时
我们实际上模拟一个人工神经网络
通过使用非线性函数逼近
这个函数作为一个包含 n 个输入
权重 和 k 个输出的系统
我们会使用 x 作为输入向量 y 作为输出向量
输入和输出可以是多对多 多对一和一对多
所以如果神经网络实质上是非线性函数逼近器时
我们是要在给定的点 (x1,y1) (x2,y2) 等拟合一个光滑函数
这样当给我们一个新的输入x时
我们能够通过这个函数算出对应的新的输出y
我们随后在这节课中会详细阐述这些非线性函数逼近
这是应用的两种主要类型
一个是分类 我们可以确定新的输入
属于哪个系列的类别
例如图像分类
其中神经网络接收的图像作为输入
可以知道它是不是猫
另一个应用是回归
其中我们可以逼近一个函数
那么这个网络经过监督学习过程后 产生连续值
时间序列预测就是一个简单的例子
其中我们根据前五天的股票价格
预测明天的股票价格
向网络中输入五个值
表示过去五天的股票价格
我们想要输出的是明天的股票价格
神经网络的任务是找到最适合的权重
可以产生较好的输出 其中 x 代表输入
W 表示权重
我们从随机权重开始
在前馈神经网络中
我们拥有从输入到输出的静态映射
使用静态这个词是因为我们没有存储
并且输出只依靠输入和权重
换句话说 对于相同的输入和权重
我们总是得到相同的输出结果
一般来说 使用神经网络时
我们包括两个主要阶段 训练和估值
在训练阶段
我们得到的数据集 叫做训练集
其中包括多对输入及其对应的目标或输出
目标是找到一系列权重
可以实现输入到理想输出的最佳映射
换句话说 训练阶段旨在生成
一个不仅仅能够泛化训练集的网络
在评估阶段
我们使用训练阶段创建的网络
应用新的输入
旨在得到理想的输出