稳态分布

对于 Markov 链来说，我们总是关心它的长期行为。稳态分布给出了一种刻画长期行为的办法（如果极限分布存在，那么它一定是稳态的）。

阐述

对于离散时间 Markov 链 $P$，如果 $\pi P=\pi$，则称 $\pi$ 是一个稳态分布。

对于连续时间 Markov 链 $P^t$，如果 $\pi P^t=\pi$，则称 $\pi$ 是一个稳态分布。

实例

性质

存在和唯一性

所有有限状态的 Markov 链都有稳态分布。这样的稳态分布可以如下构造：给定一个 $z\in\mathcal X$ 属于某个闭类，考虑从 $z$ 开始的链 $X_i$，令 $N_x$ 是在回到 $z$ 之间访问 $x$ 的数量，则

$$\pi(x)=\frac{\mathbb E(N_x)}{\mathbb E(\tau_z^+)}$$

另外，如果 $P$ 还是不可约的，那么只有一个稳态分布。这个稳态分布是

$$\pi(z)=\frac{1}{\mathbb{E}\left(\tau_z^{+}\right)}$$

一个更强的结果是，它的 1-本征空间的维数最多为 1。

连续时间

所有有限状态的连续时间 Markov 链都有稳态分布。另外，如果 $P$ 还是不可约的，那么只有一个稳态分布。在不可约的情况下，也可以由以下给出

$$\pi(x)=\frac{1}{-Q(x, x) \mathbb{E}\left(\tau_x^{+}\right)}$$

存在和唯一性（可数无穷）

如果一可数状态 Markov 链有一个正常返状态，那么它也有稳态分布。不可约的、正常返的可数状态 Markov 链的稳态分布唯一，这个稳态分布和上面给出的表达式相同。反之，如果一个不可约的可数状态 Markov 链有稳态分布，那么它是正常返的。

可逆性

称 $P$ 对 $\pi$ 可逆，如果 $\pi(x)P(x,y)=\pi(y)P(y,x)$。可逆性可以推出稳态分布。

对于连续时间，则是 $\pi(x)P^t(x,y)=\pi(y)P^t(y,x)$，这与 $\pi(x)Q(x,y)=\pi(y)Q(y,x)$ 完全等价。这里的可逆性也可以推出稳态分布。

收敛性

对于有限空间、不可约、非周期性的 Markov 链，其唯一的稳态分布为 $\pi$，则对任何初始分布 $\mu$，都有 $\mu P^i\to\pi$，或者 $X_i\to^d\pi$。对于连续时间来说，也是一样，而且不用担心周期性。

对于可数空间、不可约、非周期性的 Markov 链，

• 如果它是正常返的，则唯一的稳态分布为 $\pi$，则对任何初始分布 $\mu$，都有 $X_i\to^d\pi$
• 如果它是零常返的，则 $P^i(x,y)\to 0$（这个对有周期的也成立）

连续时间与离散时间的关系

以下三个条件等价：

• $\forall t, \pi P^t=\pi$
• $\pi Q=0$
• $\mu K=\mu$，其中 $\mu(x)=\pi(x) Q(x, x) / \sum_y \pi(y) Q(y, y)$

相关内容

参考文献