# 【深度学习-笔记】(2)–高斯过程&高斯回归

&#x4E2A;&#x4EBA;&#x7B14;&#x8BB0;&#xFF0C;&#x8BB0;&#x5F55;&#x601D;&#x8003;&#x8FC7;&#x7A0B;&#xFF0C;&#x5DF2;&#x6CE8;&#x660E;&#x53C2;&#x8003;&#x6587;&#x732E;&#x3002;
&#x5982;&#x679C;&#x4F60;&#x770B;&#x4E0D;&#x61C2;&#x4ED6;&#xFF0C;&#x53EF;&#x4EE5;&#x8BD5;&#x7740;&#x5148;&#x53BB;&#x63A5;&#x53D7;&#x4ED6;&#x3002;&#x5C31;&#x597D;&#x50CF;&#xFF0C;&#x6253;&#x4E0D;&#x8FC7;&#x5C31;&#x52A0;&#x5165;&#x3002;


## ; 1. 一元高斯分布

f ( x ) = 1 σ 2 π exp ⁡ ( − ( x − μ ) 2 2 σ 2 ) f(x)=\frac{1}{\sigma \sqrt{2 \pi}} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)f (x )=σ2 π​1 ​exp (−2 σ2 (x −μ)2 ​)

## 2. 多元（二元及以上）高斯分布

μ = ( μ a μ b ) Σ = ( σ x 2 ρ σ x σ y ρ σ x σ y σ y 2 ) \mu=\left(\begin{array}{l} \mu_{a} \ \mu_{b} \end{array}\right) \quad \Sigma=\left(\begin{array}{cc} \sigma_{x}^{2} & \rho \sigma_{x} \sigma_{y} \ \rho \sigma_{x} \sigma_{y} & \sigma_{y}^{2} \end{array}\right)μ=(μa ​μb ​​)Σ=(σx 2 ​ρσx ​σy ​​ρσx ​σy ​σy 2 ​​)

Cov ⁡ ( X , Y ) = E [ ( X − E ( X ) ( Y − E ( Y ) ] = E [ X Y ] − E [ X ] E [ Y ] \begin{aligned} \operatorname{Cov}(X, Y) &=E[(X-E(X)(Y-E(Y)]\ &=E[X Y]-E[X] E[Y] \end{aligned}Cov (X ,Y )​=E [(X −E (X )(Y −E (Y )]=E [X Y ]−E [X ]E [Y ]​

cov ⁡ ( X ) = ∑ i = 1 n ( X i − X ˉ ) ( X i − X ˉ ) n − 1 = ∑ i = 1 n ( X i − X ˉ ) 2 n − 1 \operatorname{cov}(X)=\frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)\left(X_{i}-\bar{X}\right)}{n-1}= \frac{\sum_{i=1}^{n}{\left(X_{i}-\bar{X}\right)}^{2}}{n-1}cov (X )=n −1 ∑i =1 n ​(X i ​−X ˉ)(X i ​−X ˉ)​=n −1 ∑i =1 n ​(X i ​−X ˉ)2 ​

Σ = cov ⁡ ( X , Y ) = ∑ i = 1 n ( X i − X ˉ ) ( Y i − Y ˉ ) n − 1 \Sigma=\operatorname{cov}(X,Y)=\frac{\sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)\left(Y_{i}-\bar{Y}\right)}{n-1}Σ=cov (X ,Y )=n −1 ∑i =1 n ​(X i ​−X ˉ)(Y i ​−Y ˉ)​

P ( x ; μ , Σ ) = 1 ( 2 π ) n / 2 ∣ Σ ∣ 1 / 2 exp ⁡ ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) P(x; μ , \Sigma)=\frac{1}{{(2 \pi)}^{n/2} {|\Sigma|}^{1/2}} \exp \left(-\frac{1}{2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)\right)P (x ;μ,Σ)=(2 π)n /2 ∣Σ∣1/2 1 ​exp (−2 1 ​(x −μ)T Σ−1 (x −μ))

x = [ x A x B ] μ = [ μ A μ B ] Σ = [ Σ A A Σ A B Σ B A Σ B B ] 。 x=\left[\begin{array}{l} x_{A} \ x_{B} \end{array}\right] \quad \mu=\left[\begin{array}{l} \mu_{A} \ \mu_{B} \end{array}\right] \quad \Sigma=\left[\begin{array}{ll} \Sigma_{A A} & \Sigma_{A B} \ \Sigma_{B A} & \Sigma_{B B} \end{array}\right]。x =[x A ​x B ​​]μ=[μA ​μB ​​]Σ=[ΣAA ​ΣB A ​​ΣA B ​ΣBB ​​]。

## ; 二、高斯过程

1.有限域

f ⃗ = [ f ( x 1 ) f ( x 2 ) ⋯ f ( x m ) ] T \vec{f}=\left[\begin{array}{llll} f\left(x_{1}\right) & f\left(x_{2}\right) & \cdots & f\left(x_{m}\right) \end{array}\right]^{T}f ​=[f (x 1 ​)​f (x 2 ​)​⋯​f (x m ​)​]T

f ⃗ ∼ N ( μ ⃗ , σ 2 I ) \vec{f} \sim \mathcal{N}\left(\vec{\mu}, \sigma^{2} I\right)f ​∼N (μ​,σ2 I )

p ( h ) = ∏ i = 1 m 1 2 π σ exp ⁡ ( − 1 2 σ 2 ( f ( x i ) − μ i ) 2 ) p(h)=\prod_{i=1}^{m} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{1}{2 \sigma^{2}}\left(f\left(x_{i}\right)-\mu_{i}\right)^{2}\right)p (h )=i =1 ∏m ​2 π​σ1 ​exp (−2 σ2 1 ​(f (x i ​)−μi ​)2 )
2.无限域

[ f ( x 1 ) ⋮ f ( x m ) ] ∼ N ( [ m ( x 1 ) ⋮ m ( x m ) ] , [ k ( x 1 , x 1 ) ⋯ k ( x 1 , x m ) ⋮ ⋱ ⋮ k ( x m , x 1 ) ⋯ k ( x m , x m ) ] ) \left[\begin{array}{c} f\left(x_{1}\right) \ \vdots \ f\left(x_{m}\right) \end{array}\right] \sim \mathcal{N}\left(\left[\begin{array}{c} m\left(x_{1}\right) \ \vdots \ m\left(x_{m}\right) \end{array}\right],\left[\begin{array}{ccc} k\left(x_{1}, x_{1}\right) & \cdots & k\left(x_{1}, x_{m}\right) \ \vdots & \ddots & \vdots \ k\left(x_{m}, x_{1}\right) & \cdots & k\left( x_{m},{x}_{m}\right) \end{array}\right]\right)⎣⎡​f (x 1 ​)⋮f (x m ​)​⎦⎤​∼N ⎝⎛​⎣⎡​m (x 1 ​)⋮m (x m ​)​⎦⎤​,⎣⎡​k (x 1 ​,x 1 ​)⋮k (x m ​,x 1 ​)​⋯⋱⋯​k (x 1 ​,x m ​)⋮k (x m ​,x m ​)​⎦⎤​⎠⎞​

f ( x ) ∼ G P ( m ( x ) , k ( x , x ′ ) ) f(x)\sim{GP}(m(x),k(x,x’))f (x )∼GP (m (x ),k (x ,x ′))

m ( x ) = E [ x ] k ( x , x ′ ) = E [ ( x − m ( x ) ) ( x ′ − m ( x ′ ) ) ] m(x)=E[x] \ k(x,x’)=E[(x-m(x))(x’-m(x’))]m (x )=E [x ]k (x ,x ′)=E [(x −m (x ))(x ′−m (x ′))]
☆☆☆扩展矩阵的协方差：（待更新）。

# 参考文献

Original: https://blog.csdn.net/Myblog_7267/article/details/121375076
Author: spongia丶
Title: 【深度学习-笔记】(2)–高斯过程&高斯回归

(0)

### 大家都在看

• #### [Pytorch]关于torchvision.transforms.resize采样时更换插值方式——class InterpolationMode

抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。 Original: https:…

人工智能 2022年11月16日
043
• #### 在IDEA中连接数据库连接池(SQL server)

配置数据库连接池时遇到的问题 首先是DBCP文件的配置问题 dbcpconfig.properties文件 在这个中每种驱动类都不一样，注意区分其他根据区分，自行填写或者默认即可 …

人工智能 2022年10月9日
0191
• #### 公共数据库挖掘第一步-GEO数据库下载表达谱数据和生存数据

人工智能 2022年11月9日
074
• #### 【图像聚类】基于matlab GUI K-means算法图像聚类【含Matlab源码 1787期】

一、图像分割简介 0 引 言图像分割技术是图像分析和模式识别的重要内容, 已广泛地应用于计算机视觉、目标跟踪、遥感图像、生物医学图像等领域, 至今仍是热门的研究课题之一。图像分割算…

人工智能 2022年9月29日
0131
• #### 搭建目标检测模型之Domain Adaptive Faster R-CNN for Object Detection in the Wild

搭建环境 * 方法1：直接搭建环境 – 报错及解决方法 准备数据集 * 官方数据集 训练模型 测试模型 训练结果（有问题） 搭建环境 方法1：直接搭建环境 克隆项目Do…

人工智能 2022年12月5日
037
• #### win10 anaconda tensorflow-gpu安装

确认GPU nvcc –version 确定CUDA版本 参考https://www.tensorflow.org/install/source_windows 确定对应CuDNN…

2022年9月6日
0117
• #### Unity 性能优化总结

造成游戏性能瓶颈的主要原因分成以下几个方面：（1）CPU1.过多的 draw call2.复杂的脚本或者物理模拟（2）GPU1.顶点处理过多的顶点、过多的逐顶点计算2.片元处理过多…

人工智能 2022年12月20日
054
• #### AI算力基础 — Nvidia TESLA V100 GPU

– 2017年 ; 1. Introduction to the NVIDIA Tesla V100 GPU Architecture 新的NVIDIA®Tesla®V100加速器…

人工智能 2022年11月25日
079
• #### tensorflow学习笔记 (五) (卷积神经网络)

文章目录 卷积神经网络 * 一、卷积计算过程 – 1.单通道的卷积计算 2.三通道的卷积计算 3. 卷积计算过程动图 二、卷积相关 – 2.1 两种卷积核的…

2022年9月2日
0113
• #### python数据分析学生成绩查询系统_python数据分析-学生成绩分析

python数据分析-学生成绩分析 python数据分析-学生成绩分析 目标：分析学生成绩的影响因素 1.导入原始数据，以及需要用到的库 import pandas as pd i…

人工智能 2022年12月3日
085
• #### 李沐动手学深度学习V2-LeNet模型和代码实现

1. LeNet LeNet是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。 这个模型是由AT&T贝尔实验室的研究员Yann LeCun在19…

人工智能 2022年9月18日
0144
• #### RTX3080无法运行TensorFlow的若干问题

写作初衷，本人学了半年TensorFlow，为此买了一个RTX3080的本本，安装和调试TF花了也将近500多，但是最后还是自己的项目跑不起来。就是安装错了TF版本。 目前已知RT…

人工智能 2022年9月5日
0153
• #### 【论文阅读】【yolo系列】YOLOV7的论文阅读

4 Trainable bag-of-freebies 4.1. Planned re-parameterized convolution 尽管RepConv 在VGG 上取得了优…

人工智能 2022年11月24日
0139
• #### 什么是形态学操作

你好，这篇文章咱们讨论一下关于「什么是形态学操作」的事情.. 什么是形态学操作？ 形态学操作是数字图像处理中的一种重要技术，它主要用于图像的特征提取、减噪、分割等方面。形态学操作基…

人工智能 2023年3月11日
012
• #### 使用mmdetection框架训练自己的数据集

1. 数据集准备 mmdet的数据集支持 coco格式和 voc 格式, 但 voc 格式官方只自带了少量网络模型文件, 所以推荐使用 coco 格式的数据集 2. 修改mmdet…

人工智能 2022年9月18日
0250
• #### PyTorch环境配置

PyTorch环境配置 打开Ananconda Prompt 使用conda指令， conda create -n pytorch3.8 python=3.8,创建环境。指令含义：…

人工智能 2022年12月15日
077