若 P 是一个有限状态的不可约 Markov 链,令 Vx(n) 是时间 n 前访问 x 的数量,则
P(nVx(n)→n→∞E(τx+)1)=1
且对任何函数 f:X→R,都有
P(n∑i=0n−1f(Xi)→n→∞Eπ(f))=1
而对于可数状态的不可约 Markov 链,第一式仍然成立,而第二式要求 π 存在,也即 P 是正常返的。
若 Pt 是一个有限状态的不可约连续时间 Markov 链,则有
P(T1∫0Tf(Xt)dt→Eπ(f))=1
用于 计算稳态分布
设一个不可约 Markov 链 P 的稳态分布是 π,且 A⊆X。定义 Ti 是第 i 次 Xn 存在于 A 的时间,则 Yi=XTi 也是一个 Markov 链。该链的分布可以从下式看出:
π(A)π(x)=n→∞lim∑I(Xi∈A)∑I(Xi=x)=n→∞limn1∑I(Yi=x)
相关内容
参考文献