外生可變狀態的動態情形。

有限期界t{1,...,T}t\in\{1,...,T\},在每期,世界狀態 sts_{t} 可能為 {g,b}\{g,b\},世界狀態序列這一馬爾科夫鏈的轉移矩陣為

P=[1qq01]\mathbb{P}=[ \begin{matrix} 1-q&q\\ 0&1 \end{matrix} ]

即,如果當期為 gg,則以 1q1-q 的機率下期仍為 gg,以 qq 的機率下期為 bb;一旦世界狀態變為 bb,則會停留為 bb
假設第一期 t=1t=1 時世界初始狀態為 gg 的機率為 μ=prob(s1=g)\mu=\text{prob}(s_1=g)。記世界狀態由 gg 變為 bb 的時刻為 θ\theta,並規定當 st=g,ts_{t}=g,\forall tθ=T+1\theta=T+1,則 θ\theta 的分佈可以錶示為

prob(θ=θ)={1μ, if θ=1μ(1q)θ2q, if 2θTμ(1q)T1, if θ=T+1\text{prob}(\theta=\theta^{\prime})=\left\lbrace \begin{aligned} & 1-\mu ,& & \text{ if }\theta^{\prime}=1 \\ & \mu(1-q)^{\theta-2}q ,& & \text{ if }2\leq\theta\leq T \\ & \mu(1-q)^{T-1} ,& & \text{ if }\theta^{\prime}=T+1 \end{aligned} \right.