Estados

Definição

Um processo de Markov é um processo estocástico em que a probabilidade de o sistema estar num estado específico num determinado período de observação depende apenas do seu estado no período de observação imediatamente precedente

• O futuro apenas depende do presente e não do passado

Cadeias de Markov discretas

X_n: estado após n transições

• Pertence a um conjunto finito,

  • Em geral { 1, 2, ..., m }

• X_0 é dado ou aleatório

Propriedade de Markov

Probabilidade de transição do estado i para o estado j

Pji = P(X_(n+1) = j|X_n = i, X(n-1) = x(n-1), ..., X_0 = x_0)

= P( X_n+1 = j | X_n = i)

Quando estas probabilidades Pji não dependem de n a cadeia diz-se homogénea

• Focaremos a nossa atenção neste tipo de cadeias de Markov

Especificação de uma cadeia

• Identificar os estados possíveis

• Identificar as transições possíveis

• Identificar as probabilidades de transições