Markov过程

对于为一随机过程，为其状态空间，若对参数集中的任意个时刻,任意的 有

即随机变量在已知 情况下，条件分布函数只与有关，则称随机过程为Markov过程.

这条性质也就是著名的Markov性，也就是无记忆性或无后效性；

若对于离散的状态集的随机过程也具有Markov性，那么就变成Markov链：

随机过程称为Markov链，若它只取有限或可列个值(若不另外说明，以非负整数集来表示),并且对任意的及 任 意 状 态 有

其中表示过程在时刻处于状态

转移概率（矩阵）

称Markov链中的条件概率为一步转移概率，简称转移概率，记为.它代表处于状态的过程下一步转移到状态的概率.

当Markov链的状态为有限时，称为有限链，否则称为无限链。但无论状态有限还是无限，我们都可以将排成一个矩阵的形式，令

称P为转移概率矩阵，简称转移矩阵.这显然是个随机矩阵，满足下面性质：

  • ;
  • ​

Mark

关于判定Markov链有一个小定理十分实用：

设随机过程 满足

  1. , 其 中 ,且 取 值 在上。
  2. 为独立同分布随机变量，且与也相互独立；

则是Markov链，且一步转移概率为p_{ij}=P(f(i,\xi_1)=j)

Chapman-Kolmogorov方程，n步转移概率

称条件概率

为Markov链的步 转 移 概 率 , 相 应 地 称 为 步 转 移矩阵

为求n步转移概率，有如下C-K方程，表述如下：

对一切有

概率分布向量

记为时刻的 概 率 分 布 向 量 ,其中

称为Markov链的初始分布.

Property

  1. 对任意的均成立。
  2. 一个Markov链的特性完全由一步转移矩阵P和初始分布向量决定；

吸收态，可达性和互通性，可约性

称状态 为 吸收态 , 如果

若,则称状态为过渡态；

称状态可 达 状 态 ,若存在使得,记为.

若 同 时 有, 则 称 与互 通 , 记 为 ​;

任何两个互通的状态归为一类，若markov链只存在一类，那么称这是不可约的，否则是可约的；

Mark

互通是一种等价关系，满足自反性，对称性和传递性；

互通的状态形成等价类；

常返性

对于任何状态,以记从出发经步后首次到达的概率：

则为由出发，经有限步首次到达的概率。

定义平均回返时间

  • 若,称为常返状态；
    • ,则称​为正常返状态；
    • ,则称为零常返状态；
  • 若,则称为瞬过状态,

Property

  1. 若,则同为常返或非常返状态.因此常返性是一个类性质。.
  2. 若且为常返状态,则必为常返状态,且.

Mark

证明上述等价命题需要用到小引理：

对任意状态及1 有

周期性

若集合非空，则称该数集的最大公约数

为状态的周期 .

若,称为 周 期 的 ;

若,称为非周期的;

规定上述集合为空集时，称的周期为无穷大;

基本极限定理表述如下：

若状态是周期为的常返状态，则

当时，​

当是瞬过状态，,必有​;

若为瞬过(非常返)状态或零常返状态，则

Mark

若状态的周期为并不意味着​;

设为常返状态，则为零常返状态 ​;

设为常返状态,则​同为正常返状态或零常返状态.

遍历性

若为正常返状态，且是非周期的，则称为 遍 历 状 态.吸收态是遍历状态的一种特殊情况。 如果一个Markov链的所有状态都是遍历状态，则称其为遍历Markov链，简称遍历链。

Property

  1. 类性质：若状态属于同一类，则;

  2. 若Markov链为不可约，正常返，且非周期，则对任意有

  3. 有限状态的Markov链没有零常返状态；

  4. 有限状态的Markov链不可能全为瞬过状态；

  5. 不可约的有限Markov链状态都是正常返的；

  6. 若Markov链有一个零常返状态，那么必然有无限个零常返状态；

平稳分布，极限分布

一个定义在状态空间上的概率分布 称为Markov链的平稳分布，如有

即,有

若存在，,则称为Markov链的极限分布.

Property

  1. 对于不可约的遍历Markov链，极限分布存在：

  2. 对于不可约、非周期的Markov链，

    • 若 它 是 遍 历 的 , 则 平 稳 分 布 为, ,并且是唯一的平稳分布；
    • 若状态都是瞬过的或全为零常返的，则平稳分布不存在.

Mark

对于不可约的遍历Markov链，其极限分布等于平稳分布，而后者的求解只是一个线性齐次方程问题，因此这个定理给我们一个通过先求解平稳分布(极限分布)得到平均回返时间的一个办法.

连续时间的Markov链

随机过程的状态空间为离散空间，为方便书写设为 若对任意,以及任意的,有

则称为 连 续 时 间 Markov链 , 又 称 连 续 参 数Markov链.

我们默认我们讨论的Markov链是时齐的，也即 与无关。简记为称 ​​为相应的转移概率矩阵.

我们熟知的Poisson过程是连续时间Markov链.它的初始分布为.对,它的转移概率为

和离散版本的Markov链作对比不难得到如下性质：

Property

  1. 是函数：

  1. 对于,在已知的条件下，“将来”与“过去”​独 立.

  3. 有 C-K方程：

  4. 设时 刻 的 概 率 分 布 向 量

    则的概率分布为

  5. 连续时间Markov链的有限维分布由转移概率矩阵和初始分布完全决定：对,

  6. 对于,有

  7. 假定在时刻0过程刚刚到达 以记过程在离开之前在停留的时间，即在条件的条件下服从指数分布.

    • 当时，它在状态停留的平均时间为0，即一旦进入马上离开，称这样的状态为瞬过状态.

    • 当时，则称为 吸 收 态 , 即 一 旦 进 入 , 将 停 留 的 平 均时间为无限长。

    • 当,称为 逗 留 态 , 这 时 过 程 停 留 在 状 态 ,若干时间后跳到别的状态，停留时间服从指数分布.

正则Markov链，转移速率(矩阵)

称一个连续时间Markov链是正则的，若以概率1在任意有限长的时间内转移的次数是有限的.从而可得连续性条件

以下我们总假定所考虑的Markov链都满足正则性条件.

定义状态转移速率：

  • 对,极限q_i:=-q_{ii}=\lim_{t\to0}\frac{1-p_{ii}(t)}{t}\leq+\infty 存在，但可能是无限.
  • 对,极限q_{ij}=\lim_{t\to0}\frac{p_{ij}(t)}{t}<\infty 存在且有限.

设状态空间为,此时记

称为连续时间Markov链的Q-矩阵(转移速率矩阵).

当矩阵元素满足 时，称该矩阵为保守的.

类比Poisson过程，我们能得到如下性质：

Property

对于Markov链,. 用表示过程在状态的停留时间,则有:

  2. .
  3. 当时,
  4. 在条件下,和独立.
  5. 当时,​.

Kolmogorov微分方程

对一切且为保守矩阵时，有

  1. Kolmogorov向后方程：

  1. Kolmogorov向前方程：