1.多层感知器与卷积神经网络

MLP多层感知器

输入层->隐藏层->输出层

CNN卷积神经网络

输入层->卷积层1->池化层1->卷积层2->池化层2->平坦层->隐藏层->输出层

2.卷积神经网络

卷积神经网络可分为两大部分:

图像的特征提取:通过卷积层和池化层提取图像的特征

完全连接的神经网络:包含平坦层,隐藏层,输出层说组成的类神经网络

卷积运算类似滤镜效果,即用于提取不同特征.

3.卷积运算

卷积层的意义是将原本一个图像经过卷积运算产生多个图像,就好像将相片叠加起来.

卷积运算的运算方式:

(1)先以随机的方式产生,filter weight大小是3X3

(2)要转换的图像从左到右,自上而下,按序选取3X3的矩阵

(3)图像选取的矩阵(3X3)余filter weight(3X3)乘积,计算产生第1行,第1列的数字.

按照上面的相同方式,按序完成所有计算,就可以完成图像的处理.

4.使用单个filter weight卷积运算产生图像

将大小为28×28的数字图像7,使用随机产生的5X5 filter weight(w)滤镜进行卷积运算.

卷积运算并不会改变图像大小,所以处理后的图像大小仍然是28×28,卷积运算后的效果很类似滤镜效果,这可以帮助我们提取输入不同特征,例如边缘,线条和角.

5.使用多个filter weight卷积运算产生多个图像

接下来,我们将随机产生16个filter weight,也就是16个滤镜

然后使用卷积运算产生16各位图像,每个图像提取不同的特征

6.Max-Pool运算说明

Max-Pool运算可以对图像缩减采样,原本图像是4X4,经过Max-Pool运算转换后,图像大小为2X2

7.使用Max-Pool转换手写数字图像

使用Max-Pool缩减采样,进行手写数字图像转换,将16个28X28的图像缩小为16个14X14的图像,但是不会改变图像的数量(仍然是16个)

 缩减采样会缩小图像,有下列好处:

(1)减少需处理的数据点:减少后续运算所需的时间

(2)让图像位置差异变小:例如手写7,位置上下左右可能不同,位置的不同不会影响识别,减小图像大小,让数字的位置差异变小.

(3)参数的数量和计算量下降:这在一定程度上也控制了过度拟合.

8.建立卷积神经网络识别MNIST数据集的步骤

(1)数据预处理:数据预处理后,会产生Features(数字图像特征值)和label(数字真实值)

(2)建立模型:我们将建立卷积神经网络

(3)训练模型:输入训练数据Featrues(数字图像特征值)与Label(数字真实值),执行了10个训练周期

(4)评估模型准确率:使用测试数据评估模型准确率

(5)进行预测:使用已经训练完成的模型,输入测试数据进行预测