外生可變狀態的動態情形。
有限期界t∈{1,...,T},在每期,世界狀態 st 可能為 {g,b},世界狀態序列這一馬爾科夫鏈的轉移矩陣為
P=[1−q0q1]
即,如果當期為 g,則以 1−q 的機率下期仍為 g,以 q 的機率下期為 b;一旦世界狀態變為 b,則會停留為 b。
假設第一期 t=1 時世界初始狀態為 g 的機率為 μ=prob(s1=g)。記世界狀態由 g 變為 b 的時刻為 θ,並規定當 st=g,∀t 時 θ=T+1,則 θ 的分佈可以錶示為
prob(θ=θ′)=⎩⎨⎧1−μ,μ(1−q)θ−2q,μ(1−q)T−1, if θ′=1 if 2≤θ≤T if θ′=T+1