目录
机器学习分类与回归问题与深度学习各类超参数介绍
机器学习的分类与回归问题
一、机器学习
对于一个任务，设计一种算法，让算法能够提取数据中蕴含的规律，通过利用数据，训练出模型，然后使用模型预测的一种方法，这就叫机器学习。如果输入机器的数据是带有标签的，就称作有监督学习。如果数据是无标签的，就是无监督学习
二、分类与回归
分类→提前知道结果；离散变量预测；打标签、判断、通常建立在回归上；sigmoid函数 𝑓 ( 𝑥 )= 1 1+ 𝑒 −( 𝑎𝑥 + 𝑏 _)_f(x)=1 /(1+e ^(-(ax+b)) )
eg：卖西瓜→好瓜 or 坏瓜；
回归→结果未知；连续变量预测； 预测一个值；线性回归、损失函数；
eg：人脸识别→无法预知识别的是人or猫or其他东西
深度学习各类超参数介绍
1、什么是超参数，参数和超参数的区别？
区分两者最大的一点就是 是否通过数据来进行调整， 模型参数通常是由数据来驱动调整，超参数则不需要数据来驱动，而是在训练前或者训练中人为的进行调整的参数。例如卷积核的具体核参数就是指模型参数，这是有数据驱动的。而学习率则是人为来进行调整的超参数。这里需要注意的是，通常情况下卷积核数量、卷积核尺寸这些也是超参数，注意与卷积核的核参数区分。
2、神经网络中包含哪些超参数？
通常可以将超参数分为三类：网络参数、优化参数、正则化参数。
1、网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、网络层数（也称深度）和激活函数等。
2、优化参数：一般指学习率（learning rate）、批样本数量（batch size）、不同优化器的参数以及部分损失函数的可调参数。
3、正则化：权重衰减系数，丢弃法比率（dropout）。
网络搭建介绍
全连接层
全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的 特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。
卷积层
卷积层（Convolutional layer），卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
池化层
池化层特点：提取特征。
激活函数
激活函数（Activation functions）对于人工神经网络 [1] 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图1，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
BN操作
Batch Normalization 批标准化
Original: https://blog.csdn.net/Gnipilnehc/article/details/121307338
Author: Gnipilnehc
Title: 机器学习分类与回归问题与深度学习各类超参数介绍 及网络搭建介绍
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/631074/
转载文章受原作者版权保护。转载请注明原作者出处！