模拟退火算法详细讲解（含实例python代码）
最近老师要求做模拟退火算法实验，看了很多博客之后感觉还是不太清楚，最后问了老师之后才搞明白。想把自己的理解写下来，帮助大家更好的理解。本篇文章是在另一篇博客的基础上加了一下自己的理解，然后又把我们在实验中的实例写下来，还有参考代码。希望大家看了之后能够加深对模拟退火算法的理解。
另一篇博客链接: 深度学习 — 模拟退火算法详解.
（一）模拟退火算法简介
模拟退火算法(SA)来源于固体退火原理，是一种基于概率的算法。将固体加温至充分高的温度，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，分子和原子越不稳定。而徐徐冷却时粒子渐趋有序，能量减少，原子越稳定。在冷却（降温）过程中，固体在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。
模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法。
（二）模拟退火算法原理
模拟退火算法包含两个部分即Metropolis算法和退火过程,，分别对应内循环和外循环。外循环就是退火过程，将固体达到较高的温度（初始温度T（0）），然后按照降温系数alpha使温度按照一定的比例下降，当达到终止温度Tf时，冷却结束，即退火过程结束。
Metropolis算法是内循环，即在每次温度下，迭代L次，寻找在该温度下能量的最小值（即最优解）。下图中所示即为在一次温度下，跌代L次，固体能量发生的变化。在该温度下，整个迭代过程中温度不发生变化，能量发生变化，当前一个状态x(n)的能量大于后一个状态x(n+1)的能量时，状态x(n)的解没有状态x(n+1)的解好，所以接受状态x(n+1)。但是如果下一状态的能量比前一个状态的能量高时，该不该接受下一状态呢？在这里设置一个接受概率P,即如果下一状态的能量比前一个状态的能量高，则接受下一状态的概率为P,下面具体讲一下如何接受下一个状态。
Metropolis算法就是如何在局部最优解的情况下让其跳出来（如图中B、C、E为局部最优），是退火的基础。1953年Metropolis提出重要性采样方法，即以概率来接受新状态，而不是使用完全确定的规则，称为Metropolis准则，计算量较低。
假设开始状态在A，多次迭代之后更新到B的局部最优解，这时发现更新到B时，能力比A要低，则说明接近最优解了，因此百分百转移，状态到达B后，发现下一步能量上升了，如果是梯度下降则是不允许继续向前的，而这里会以一定的概率跳出这个坑，这各概率和当前的状态、能量等都有关系。所以说这个概率的设计是很重要的，下面从数学方面进行解释。
假设前一个状态为x(n),系统根据某一指标（梯度下降，上节的能量），状态变为x(n+1),相应的，系统的能量由E(n)变为E(n+1),定义系统由x(n)变为x(n+1)的接受概率P为：
从上式我们可以看到，如果能量减小了，那么这种转移就被接受（概率为1），如果能量增大了，就说明系统偏离全局最优值位置更远了，此时算法不会立刻将其抛弃，而是进行概率操作：首先在区间【0,1】产生一个均匀分布的随机数ϵ \epsilon ϵ，如果ϵ \epsilon ϵ
接受状态的三条原则：
（1）在固定温度下，接受使目标函数下降的候选解的概率要大于使目标函数上升的候选解概率；
（2）随着温度的下降，接受使目标函数上升的解的概率要逐渐减小；
（3）当温度趋于零时，只能接受目标函数下降的解。
; （三）退火过程中参数控制
（1）初始的温度T(0)应选的足够高，使的所有转移状态都被接受。初始温度越高，获得高质量的解的概率越大，耗费的时间越长。
（2）退火速率，即温度下降，最简单的下降方式是指数式下降：
T(n) = α \alpha αT(n) ,n =1,2,3,…
其中α \alpha α是小于1的正数，一般取值为0.8到0.99之间。使的对每一温度，有足够的转移尝试，指数式下降的收敛速度比较慢。
（3）终止温度
如果温度下降到终止温度或者达到用户设定的阈值，则退火完成。
（四）算法步骤
1.模拟退火的基本思想:
(1) 初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)，每个T值的迭代次数L
(2) 对k=1, …, L做第(3)至第6步：
(3) 产生新解S′
(4) 计算增量ΔT=C(S′)-C(S)，其中C(S)为目标函数,C(S)相当于能量
(5) 若ΔT
Original: https://blog.csdn.net/weixin_48241292/article/details/109468947
Author: Eterbity
Title: 模拟退火算法详细讲解（含实例python代码）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/615088/
转载文章受原作者版权保护。转载请注明原作者出处！