卷积神经网络
- 一、图片的识别过程：
- 二、卷积神经网络解决了两个问题
- 三、基本结构
* - 1.卷积层
- 2.池化层
- 3.ReLU 激活层
- 单层卷积神经网络
- 4.全连接层
- 四、卷积神经网络流程
- 五、卷积神经网络算法过程
- 六、(代码)卷积神经网络—手写数字模型
一、图片的识别过程：
1.特征提取-CNN自动提取（卷积层）
2.提取主要特征（池化层）
3.特征汇总
4.产生分类器进行预测识别（全连层）
- 传统神经网络处理图片- 全连接的网络结构
网络中的神经与相邻层上的 每个神经元均连接。层数越多需要计算的参数就越多。 -
卷积神经网络– -局部感受视野
对局部进行感知，然后在更高层将局部的信息综合起来得到全局信息。
-
卷积神经网络— 权值共享
每个神经元的w值都是一样的。
就是整张图片在使用同一个卷积核内的参数。
; 二、卷积神经网络解决了两个问题
1、BP神经网络的全连接模式导致参数过多，反向传播计算量太大，模型训练时间过长，解决方案是 权值共享。
2、全连模式下每个像素都要与神经相连，特征点较多不利于分类。卷积： 局部感受视野，局部信息综合起来得到全局信息。
三、基本结构
卷积层：特征提取-CNN自动提取
池化层：提取主要特征
ReLU层
全连层：产生分类器进行预测识别
输入图片-卷积池化激活（获取主要特征）-重复-特征汇总，相当于全连层。
特征数变少，深度（通道数）变多👇
; 1.卷积层
提取图片每个小部分里具有的特征。
图片像素与卷积核（权重）相乘再相加。
2.池化层
提取重要的特征信息。
将输入图像进行缩小，减少像素信息，保留重要信息。
取最大值、平均值等。
; 3.ReLU 激活层
加入非线性因素，将卷积层输出结果做非线性映射。
ReLU 函数：对于输入负值，输出全为0.正值原样输出。
单层卷积神经网络
卷积、激活函数、池化组合在一起
; 4.全连接层
全连接层在整个卷积神经网络中起到”分类器”的作用，即通过卷积、池化等深度网络后，再经过全连接层对结果进行识别分类。
四、卷积神经网络流程
; 五、卷积神经网络算法过程
四步，两个阶段
1、向前传播过程
（1）从样本中读取（x,y），将x输入网络。
（2）计算相应的实际输出OP。
在此阶段，信息从输入层经过逐层变换，传送到输出层，输出层与每层的权值矩阵点乘，得到输出结果。
2、向后传播阶段
（1）计算实际输出与理想输出的差值。
（2）按极小误差反向传播调整权值矩阵。
六、(代码)卷积神经网络—手写数字模型
1.引入头文件,加载数据
将数据读入数据集 独热编码
2.封装函数，方便网络搭建多处调用
（1）构建权重w，产生随机变量
（2）构建偏置b
（3）卷积层准备：卷积函数实现
（4）卷积层 激活函数x与0作比较
（5）池化层：小一倍数据 特征图
3.特征标签的占位符
4.开始网络搭建 CNN构建
1）卷积层 ，创建patch=5*5卷积核
构建w、b
([卷积核大小5 5，输入数据的维度1(灰度处理)，输出的高度32])
（2）第一层卷积层，调用函数
（3）激活relu
（4）池化
2）第二层卷积
和第一层差不多，注意几个点
构建w\b 上一层的输出是这一层的输入，这一层的输出2的次方
第一层卷积层（上一层池化的结果，这一层的w）
3）全连层
据拍平、提纯、分类
（1）第一层全连层：前馈神经网络 输入：第二次池化结果 7 _7_64 假设神经元1024个
（2）第二层全连层：分类器
上层输出1024是这层输入，总的分类数为这层输出
5.构建损失函数
6.优化器
六、(代码)卷积神经网络：手写数字模型
1.引入头文件,加载数据
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
将数据读入数据集 独热编码
input_data.read_data_sets('MNIST_data/',one_hot=True)
input_size=28*28
num_class=10
2.封装函数，方便网络搭建多处调用
（1）构建权重w，产生随机变量
def weight_variable(shape):
"""
构建权重w，产生随机变量
:param shape:
:return:
"""
w=tf.random_normal(shape=shape,stddev=0.01)
return tf.Variable(w)
（2）构建偏置b
def bias_variable(shape):
"""
构建偏置b
:param shape:
:return:
"""
b=tf.constant(0.01,shape=shape)
return tf.Variable(b)
（3）卷积层准备：卷积函数实现
def con2d(x,w):
"""
卷积层准备：卷积函数实现
:param x: 图像矩阵信息
:param w: 卷积核的值
:return: conv2d
"""
return tf.nn.conv2d(x,w,strides=[1,1,1,1],padding='SAME')
（4）卷积层 激活函数x与0作比较
def relu_con(x):
"""
卷积层 激活x与0作比较
:param x:
:return:
"""
return tf.nn.relu(x)
（5）池化层：小一倍数据 特征图
def max_pool_con2x2(x):
"""
池化层：小一倍数据 特征图
:param x: 图片的矩阵信息
:return:
value,
ksize,
strides,【上、右、下、左】右、下两个单位
padding,
data_format="NHWC",
name=None,
input=None
"""
return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')
3.特征标签的占位符
xs= tf.placeholder(tf.float32,shape=[None,input_size])
ys = tf.placeholder(tf.float32,shape=[None,num_class])
4.开始网络搭建 CNN构建
1）卷积层 ，创建patch=5*5卷积核
构建w、b
([卷积核大小5 5，输入数据的维度1(灰度处理)，输出的高度32])
w_conv1=weight_variable([5,5,1,32])
b_conv1=bias_variable([32])
（2）第一层卷积层，调用函数
conv1 = con2d(x_image,w_conv1)
（3）激活relu
h_conv1=relu_con(conv1+b_conv1)
（4）池化
h_pool1=max_pool_con2x2(h_conv1)
2）第二层卷积
和第一层差不多，注意几个点
构建w\b 上一层的输出是这一层的输入，这一层的输出2的次方
第一层卷积层（上一层池化的结果，这一层的w）
w_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])
conv2 = con2d(h_pool1,w_conv2)
h_conv2=relu_con(conv2+b_conv2)
h_pool2=max_pool_con2x2(h_conv2)
3）全连层
据拍平、提纯、分类
（1）第一层全连层：前馈神经网络 输入：第二次池化结果 7 _7_64 假设神经元1024个
w_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.matmul(h_pool2_flat,w_fc1)+b_fc1
h_flc1=relu_con(h_fc1)
（2）第二层全连层：分类器
上层输出1024是这层输入，总的分类数为这层输出
w_fc2=weight_variable([1024,num_class])
b_fc2=bias_variable([num_class])
h_fc2=tf.matmul(h_flc1,w_fc2)+b_fc2
predict=h_flc2=tf.nn.softmax(h_fc2)
到这完整代码：
"""
卷积神经网络：手写数字模型
"""
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
input_data.read_data_sets('MNIST_data/',one_hot=True)
input_size=28*28
num_class=10
def weight_variable(shape):
"""
构建权重w，产生随机变量
:param shape:
:return:
"""
w=tf.random_normal(shape=shape,stddev=0.01)
return tf.Variable(w)
def bias_variable(shape):
"""
构建偏置b
:param shape:
:return:
"""
b=tf.constant(0.01,shape=shape)
return tf.Variable(b)
def con2d(x,w):
"""
卷积层准备：卷积函数实现
:param x: 图像矩阵信息
:param w: 卷积核的值
:return: conv2d
"""
return tf.nn.conv2d(x,w,strides=[1,1,1,1],padding='SAME')
def relu_con(x):
"""
卷积层 激活x与0作比较
:param x:
:return:
"""
return tf.nn.relu(x)
def max_pool_con2x2(x):
"""
池化层：小一倍数据 特征图
:param x: 图片的矩阵信息
:return:
value,
ksize,
strides,【上、右、下、左】右、下两个单位
padding,
data_format="NHWC",
name=None,
input=None
"""
return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')
xs= tf.placeholder(tf.float32,shape=[None,input_size])
ys = tf.placeholder(tf.float32,shape=[None,num_class])
x_image=tf.reshape(xs,[-1,28,28,1])
w_conv1=weight_variable([5,5,1,32])
b_conv1=bias_variable([32])
conv1 = con2d(x_image,w_conv1)
h_conv1=relu_con(conv1+b_conv1)
h_pool1=max_pool_con2x2(h_conv1)
w_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])
conv2 = con2d(h_pool1,w_conv2)
h_conv2=relu_con(conv2+b_conv2)
h_pool2=max_pool_con2x2(h_conv2)
w_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.matmul(h_pool2_flat,w_fc1)+b_fc1
h_flc1=relu_con(h_fc1)
w_fc2=weight_variable([1024,num_class])
b_fc2=bias_variable([num_class])
h_fc2=tf.matmul(h_flc1,w_fc2)+b_fc2
predict=h_flc2=tf.nn.softmax(h_fc2)
Original: https://blog.csdn.net/kin_16/article/details/125898716
Author: Htht111
Title: 【python】卷积神经网络
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/627155/
转载文章受原作者版权保护。转载请注明原作者出处！