首先推荐一篇文章：https://www.zhihu.com/question/26665048/answer/157852228
Basic Theory
马尔可夫是链随机过程中的一个过程。随机，就表示状态是不确定的，例如交通红绿灯就不适合用马尔可夫模型来计算。但是对于天气系统预测，马尔可夫可以用来建模、分析不同时间的天气状态，即使产生的结果不会完全准确我们也会接受这种假设。
一个马尔科夫过程是状态间的转移仅依赖于前n个状态的过程。这个过程被称之为n阶马尔科夫模型，其中n是影响下一个状态选择的（前）n个状态。
最简单的马尔科夫过程是一阶模型，它的状态选择仅与前一个状态有关，本文也着重讲解一阶马尔科夫链。
Calculate
对于有M个状态的一阶马尔可夫模型，共有M*M 个状态转移，因为任何一个状态都有可能是所有状态的下一个转移状态。
每一个状态转移都有一个概率值，称为状态转移概率——这是从一个状态转移到另一个状态的概率。所有的M*M个概率可以用一个状态转移矩阵表示。注意这些概率并不随时间变化而不同——这是一个非常重要（但常常不符合实际）的假设。转移概率矩阵一个示意图如下图，有三种状态，所以有九种状态转移概率：
计算时用当前状态 * 转移概率矩阵（矩阵乘法）,来从当前时刻状态计算出下一时刻状态。
简单来说，一阶马尔可夫模型就是对联合概率做了简化。联合概率中：
按时序信息理解即xn时刻的状态与前面所有的时刻都有关，而马尔科夫链则假设每一时刻状态仅仅与前一个时刻状态有关，即：
Summarize
- 马尔可夫是一个随机过程
- 假设当前状态仅仅与前一时间状态有关
- 假设有着唯一的转移概率矩阵