为什么是马尔可夫过程？
马尔科夫过程(Markov process)是一类随机过程。
在已知目前状态(现在)的条件下，它未来的演变(将来)不依赖于它以往的演变(过去)。主要研究一个系统的状况及其转移的理论。它是通过对不同状态的初始概率以及状态之间的转移概率的研究，来确定状态的变化趋势，从而达到对预测未来的目的。
概念
; 实际应用场景
- 液体中的微粒子运动
- 传染病的传染人数
- 车站的候车人数
两个基本特性
1. 无后效性
这意味着，如果某个阶段的过程状态是已知的，那么该阶段之后的过程的发展和变化只与该阶段的状态有关，与该阶段之前的阶段的过程所经历的状态无关。
[En]
It means that if the state of the process at a certain stage is known, the development and changes of the process after that stage are only related to the state of this stage, and have nothing to do with the state experienced by the process at the stage before this stage.
我的一句话总结： 未来的结果，不看过去，就看现在。
2. 便利性
无论事物出现在什么状态，在很长一段时间内，马尔可夫过程都趋于稳定，与初始状态无关。
[En]
No matter what state things appear in, over a long period of time, the Markov process tends to be stable and has nothing to do with the initial state.
马尔科夫链Markov chain
马尔科夫链(Markov chain) 是指具有马尔科夫性质的离散事件随机过程，即时间和状态参数都是离散的马尔科夫过程，是 最简单的马尔科夫过程。
隐马尔科夫模型（重点）
隐马尔可夫模型(Hidden Markov Model, HMM)作为一种统计分析模型，创立于20世纪70年代。
一句话总结：隐马尔可夫模型，是统计学的，主要做统计分析的。
隐马尔可夫模型(Hidden Markov Model, HMM)是结构最简单的动态贝叶斯网这是一种著名的 有向图模型，主要用于 时序数据建模(语音识别、自然语言处理等）。
贝叶斯与朴素贝叶斯都是对隐马尔可夫模型做的铺垫。那两个就属于是”抛砖”了！
有向图：有始有终，有方向[En]
Directed graph: have a clear beginning and end, have a direction
无向图：没有明确的开始和结束。
[En]
Undirected graph: there is no clear beginning and end.
在任何时间序列中，都有开始时间和结束时间。必须有一个有向图！
[En]
In any time series, there are start and end times. There must be a directed graph!
隐马尔可夫模型是马尔可夫链的一种，其状态不能直接观测，但可以通过观测向量序列观察到，每个观测向量通过一定的概率密度分布表示为各种状态。每个观测向量由具有相应概率密度分布的状态序列生成。
[En]
Hidden Markov model is a kind of Markov chain, its state can not be observed directly, but it can be observed through the observation vector sequence that each observation vector is represented as various states through some probability density distributions. each observation vector is generated by a sequence of states with a corresponding probability density distribution.
马尔可夫链，就是描述一种状态的序列，每一个状态值，取决于前面的有限个状态
隐马尔科夫模型 模型图
箭头：表示变量之间的依赖关系，即在任何时候，观察到的变量的值只依赖于当时的状态变量。
[En]
Arrow: indicates the dependency between variables, that is, at any time, the value of the observed variable depends only on the state variable at that time.
例如： x1 由 z1来确定的，与其他变量的取值无关。
同时在T时刻，状态 zT 时刻，仅依赖于 T-1 时刻的状态。
说白了这仅是一个链式结构，当前时刻的状态，仅取决于前一个时刻，和其他时刻无关。和过往的，以前的，是没有任何关系的，不依赖的。
; 隐马尔科夫模型 的构成
隐马尔可夫模型由五个要素组成，其中两个状态集合(N、M)，三个概率矩阵(A、B、π)：
- N，表示模型中的状态数，状态之间可以相互转移。
上图的
x0,x1,x2……xT
- M，表示每个状态不同的观察符号，即输出字符的个数。
理解为 输出的个数
- A，状态转移概率分布。
模型在各个状态之间转换的概率。例如：一个状态”好”，下一时刻状态”好”的概率是多少
- B，观察符号在各个状态下的概率分布。
输出的观测概率值。模型根据当前状态所得出各个观测值的概率
- π，表示初始状态分布。
初始时候，模型的各个状态都出现，出现的概率是多少
输入: HMMs的五元组(N, M，A, B, π)。
输出:–个观察符号的序列，这个序列的每个元素都是M中的元素。
输出都是 M，表示每个状态不同的观察符号。
根据概率求出一个输出值，把输出的内容会组成一个集合。输出的集合可以定位出M，每一个符号都是M种类的元素。
应用场景
- 中文分词：一句话中需要填空，”今天早上上语文课，我需要带一本（）书”，A.英语 B.数学 C.语文，通过这个状态，可以一个值一个值的概率预测，找到可能是”语文书”
- 机器翻译
- 语音识别
- 通信中的译码
隐马尔科夫模型 是传统的机器学习模型，并不属于深度学习模型，但深度学习模型很大程度上依赖于机器学习模型。
隐马尔科夫模型 也是非常常用的模型。
用一个小故事理解 隐马尔科夫模型
附：下面转引网络文章《爱情的隐式马尔可夫模型(Love in the Hidden Markov Model)》片断：
首先感谢原英文作者Tom Yeh的精彩描述，生动地讲述了HMM模型的原理，在此我斗胆用我自己的语言用中文修改描述一次。
男生和女生分别是来自不同星球的科学事实已经众所周知的了。男生们总是认为，女生们都是谜一样的生物，他们的情感状态浮动似乎是以秒单位在变化的，难以理解，更勿论预测了! 而女生们觉得男生都是没有感觉动物，完全不能理解什么叫感受-尽管已经告诉他们N次了!这种男女之间的根本差别，导致了他们之间的感情关系是受一种超级无敌复杂的系统所支配的。
不过，我们可以用一个叫隐式马尔可夫(Hidden Markov Model)的数学模型来分析这个系统。
作为一名计算机科学家，小明决定对女友的情绪不确定性进行系统分析，挖掘出规律！于是，肖明在半年的时间里，仔细记录了女友肖立每天的变化，并制作了一张图表，展示肖立的历史和情感变化。肖明想知道，有了这些数据，他是否可以知道，如果肖立的情绪状态某一天是快乐的，那么第二天她会更开心，还是更悲伤，以此类推。
[En]
Xiaoming, as a computer scientist, decided to systematically analyze his girlfriend’s emotional uncertainty and dig out the rules! As a result, Xiao Ming carefully recorded the daily changes of his girlfriend Xiao Li every day for half a year, and made a chart to show Xiao Li’s historical and emotional changes. Xiao Ming wants to know whether, with these data, he can know that if Xiao Li’s emotional state is happy one day, then the next day she will be more in a good mood, or more sad, and so on.
数据胜于雄辩。从这半年的数据中，肖明发现，肖立开心的时候，在3/4的情况下，第二天的心情还不错，只有1/4的情况下，第二天肖立的情绪发生了变化，变得很生气、很难过等。肖明继续分析其他情绪状态变化的所有可能组合，例如从快乐到悲伤、悲伤到愤怒、快乐到愤怒。很快，肖明就会得到所有的组合变化数据，从中他可以知道任何肖立下一个最可能的情绪状态。
[En]
Data speak louder than words. From the data of the past six months, Xiao Ming found that when Xiao Li was happy, she was still in a good mood the next day in the case of 3 beat 4, and only in the case of 1 jump 4, Xiao Li’s mood changed the next day, such as becoming angry, sad and so on. Xiao Ming continues to analyze all possible combinations of other emotional state changes, such as happiness to sadness, sadness to anger, happiness to anger. Soon Xiao Ming will get all the combination change data, from which he can know the next most likely emotional state for any Xiao Li.
这个过程，同学们，就是有名的 “马尔可夫过程” (Markov process)
不过需要注意的是，马尔可夫过程有一些假设的前提。在我们的例子里面，预测下一天小丽的心情，我们只依赖当天小丽的心情，而没有去考虑更先前她的心情。很明显这种假设下的模型是远不够精确的。很多时候，随着日子一天一天的过去，女生一般会变得越来越体谅。经常女生生气了几天后，气就会慢慢消了. 比方说如果小丽已经生气了3天了，那么她第二天变得高兴起来的可能性，在多数情况下，要比她只生气了一天而第二天变得高兴的可能性要高。马尔可夫过程并没有考虑这个，用行话讲，就是马尔可夫模型忽略远距离历史效应 ( long range dependency)。
有时我们不能直接观察事物的状态。例如，有些女孩可以隐藏自己的感受而不表露出来！他们可能每天都在微笑，但这并不意味着他们每天都很快乐。因此，我们必须有依赖于我们可以直接观察到的东西的诀窍。
[En]
Sometimes we can’t directly observe the state of a thing. For example, some girls can hide their feelings without revealing them! Just because they may smile every day doesn’t mean they are happy every day. So we have to have the knack of relying on something we can observe directly.
话说回来，我们的主人公小明，自从被小丽发现他这种近乎变态的科学分析行为后，变得非常善于隐藏自己的心情，导致某天小明错误估计了小丽的心情！在误以为那天小丽会心情好的情况下，小明告诉小丽自己不小心摔坏了她心爱的iPod…，小明没想到其实那天小丽正因为前一天错过了商场名牌打折扣的活动而异常气愤。一场血雨腥风过后，两个人最终分手了。
不过，小明凭着自身的英俊高大潇洒，很快又交上了另外一个女朋友，小玲。鉴于小明意识到，女生表面的情感流露非常不可靠，小明决定要另寻他径，继续预测女朋友的心情！(作为一个科学家，小明的确有着不怕碰壁的精神)小明每个月都帮小玲付信用卡的费用(真不明白，有这样的男朋友，小玲有什么理由不高兴啊)，因此小明每天都可以通过Online banking知道小玲每天都买了什么东西。小明突然灵机一动: “没准我能通过观测她的购物规律，推导预测出小玲的心情！”
这听起来很奇怪，但这个过程确实可以用一种名为隐马尔可夫的数学模型来表达和分析。
[En]
It sounds strange, but this process can indeed be expressed and analyzed using a mathematical model called implicit Markov.
由于我们需要预测的变量 – 心情状态是无法直接观测的，是隐藏 (Hidden) 起来的，因此这种模型才叫隐式马尔可夫模型。
隐马尔可夫模型在计算机语音识别等领域取得了惊人的成功。据称：”到目前为止，HMM(隐马尔可夫模型)一直被认为是实现快速精确的语音系统的最成功的方法。”
Original: https://blog.csdn.net/weixin_48447848/article/details/123342458
Author: 小叶柏杉
Title: 马尔可夫过程 与 隐马尔科夫模型
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/526834/
转载文章受原作者版权保护。转载请注明原作者出处！