LR 算法总结–斯坦福大学机器学习公开课学习笔记

在有监督学习里面有几个逻辑上的重要组成部件[3],初略地分可以分为:模型,参数 和 目标函数。(此部分转自 XGBoost 与 Boosted Tree)

一、模型和参数
模型指给定输入xi如何去预测 输出 yi。我们比较常见的模型如线性模型(包括线性回归和logistic regression)采用

LR 算法总结--斯坦福大学机器学习公开课学习笔记

二、 目标函数:损失 + 正则

模型和参数本身规定了如何对给定的输入进行预测,但没有告诉我们如何找到更好的参数,因此需要目标函数。一般目标函数包含以下两项

[En]

The model and parameters themselves specify how to make predictions for a given input, but do not tell us how to find a better parameter, so the objective function is needed. The general objective function contains the following two items

LR 算法总结--斯坦福大学机器学习公开课学习笔记

常见的误差函数有平方误差、交叉熵等,而对于线性模型常见的正则化项有L2正则和L1正则。

三、 优化算法

讲了这么多有监督学习的基本概念,为什么要讲这些呢? 是因为这几部分包含了机器学习的主要成分,也是机器学习工具设计中划分模块比较有效的办法。其实这几部分之外,还有一个优化算法,就是给定目标函数之后怎么学的问题。之所以我没有讲优化算法,是因为这是大家往往比较熟悉的”机器学习的部分”。而有时候我们往往只知道”优化算法”,而没有仔细考虑目标函数的设计的问题,比较常见的例子如决策树的学习,大家知道的算法是每一步去优化gini entropy,然后剪枝,但是没有考虑到后面的目标是什么。

然后看逻辑回归(LR)算法,主要参考斯坦福大学机器学习公开课,http://www.iqiyi.com/playlist399002502.html

逻辑回归是一种分类算法,而不是一种回归。逻辑回归采用sigmod函数,这是一个自变量取值在整个实数空间,因变量取值在0-1之间的函数,可以将变量的变化映射到0-1之间,从而获得概率值。

sigmod函数形式如下

LR 算法总结--斯坦福大学机器学习公开课学习笔记

LR 算法总结--斯坦福大学机器学习公开课学习笔记

LR 算法总结--斯坦福大学机器学习公开课学习笔记

这样,我们得到了模型和参数,在下一步,我们确定了目标函数,逻辑回归的损失函数是交叉熵函数,用来获得参数的优化算法是最大似然法。

[En]

In this way, we get the model and parameters, and in the next step, we determine the objective function, the loss function of logical regression is the cross-entropy function, and the optimization algorithm used to obtain the parameters is maximum likelihood.

假设

LR 算法总结--斯坦福大学机器学习公开课学习笔记

你可以写得更简洁。

[En]

You can write more succinctly.

LR 算法总结--斯坦福大学机器学习公开课学习笔记

根据最大似然算法,模型应使获得样本的概率尽可能大。假设样本彼此独立,则使用该模型获得样本的概率可以表示如下。

[En]

According to the maximum likelihood algorithm, the model should make the probability of obtaining samples as large as possible. assuming that the samples are independent of each other, the probability of obtaining samples using the model can be expressed as follows.

LR 算法总结--斯坦福大学机器学习公开课学习笔记

也就是独立事件同时发生的概率。为了方便处理,取log则

LR 算法总结--斯坦福大学机器学习公开课学习笔记

这就是逻辑回归的损失函数。

[En]

This is the loss function of logical regression.

目标函数可用随机梯度下降法求解。

[En]

The objective function can be solved by the method of random gradient descent.

LR 算法总结--斯坦福大学机器学习公开课学习笔记

由于sigmod函数的如下特性

LR 算法总结--斯坦福大学机器学习公开课学习笔记

您只需按如下方式简化计算渐变的公式

[En]

You can simply simplify the formula for finding the gradient as follows

LR 算法总结--斯坦福大学机器学习公开课学习笔记

这样,样本就可以不断更新,直到找到符合要求的参数。

[En]

In this way, the samples can be constantly updated until the parameters that meet the requirements are found.

3: Principles of Data Mining, David Hand et al,2001. Chapter 1.5 Components of Data Mining Algorithms, 将数据挖掘算法解构为四个组件:1)模型结构(函数形式,如线性模型),2)评分函数(评估模型拟合数据的质量,如似然函数,误差平方和,误分类率),3)优化和搜索方法(评分函数的优化和模型参数的求解),4)数据管理策略(优化和搜索时对数据的高效访问)。

Original: https://www.cnblogs.com/bnuvincent/p/11221344.html
Author: Alexander
Title: LR 算法总结–斯坦福大学机器学习公开课学习笔记

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/7588/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部
最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总