Cadeia ergódica

Uma cadeia de Markov diz-se ergódica se é possível efectuar transições de qualquer estado para qualquer outro estado

Em consequência, uma cadeia regular é também ergódica

No entando, nem todas as cadeias ergódicas são regulares

Vetor estado estacionário

Sendo T uma matriz de transição regular e A e u o resultado do limite a tender para infinito de T^n, demonstra-se que:

• Para qualquer vetor de probabilidades x, T^n x -> u quando n -> infinito. Sendo u o vector estado estacionário (steady-state vector)

• u é o único vector de probabilidade que satisfaz a equação matricial T u = u

• Limite que tende para infinito de (n(i,n)/n) = u(i) é o número de visitas ao estado i em n passos