Марковский процесс с дискретным временем перехода. Уравнения для вероятностей состояний

Пусть система имеет конечное или счетное пространство состояний и вероятность того, что если система в момент времени была в состоянии , то в момент времени она окажется в состоянии (переходная вероятность); принимает значения на множестве .

X(t) называют марковским процессом, если вероятность перехода зависит только от и. не зависит от того, как этот процесс проходил в прошлом. Будущее зависит от прошлого только через настоящее. Если не зависит от , то процесс является стационарным.

Марковский процесс называется эргодическим, если по истечении достаточно большого промежутка времени вероятности состояний системы становятся независимыми от начального состояния системы.

Чтобы найти условие эргодичности, вводится понятие транзитивности

Процесс называется транзитивным, если для любой пары состояний

Это условие не означает, что и имеют непосредственную связь, но на графе можно найти путь из в . Это эквивалентно тому, что нет состояний без выхода и без входа. Например, электрическая лампочка, которая может находиться в состояниях включена, выключена, перегорела (см. рис.), не является транзитивной системой.

Требование транзитивности нужно, чтобы процесс при t® µ не «застрял» в одном состоянии или группе состояний. Теорема Маркова утверждает, что транзитивный стационарный марковский процесс с конечным числом состояний является эргодическим. Режим или решение, при котором называется стационарным или установившимся.

Для марковского процесса вероятность находиться в данном состоянии в данный момент времени (в данном такте) можно получить из сведений о предшествующем состоянии. Действительно, пусть время изменяется по тактам или по шагам с постоянным интервалом и пусть:

– шаг приращения времени;

– вероятность того, что в момент система находилась в состоянии , =1,2,…, ;

– вероятность перехода из состояния в состояние в момент времени .

Тогда, в соответствии с формулой полной вероятности, будем иметь

(1)

(здесь выступают как вероятности n взаимоисключающих гипотез или предположений о состоянии на текущий момент времени , а - условные вероятности получить состояние при этих гипотезах в следующий момент).

Заметим, что сумма вероятностей j=1,2..n как сумма вероятностей несовместных событий, составляющих полную группу (теорема сложения вероятностей), равна 1, т.е.

. (2)

Перепишем (1) с учетом (2) в виде:

или: (3)

. (4)

Это по существу система разностных уравнений, которая может быть записана в виде:

(5)

или, если система стационарна, в виде:

, (6)

где – номер такта в заданном интервале (в частности , ).

Изменение вероятностей ищется решением системы разностных уравнений (4), (5), (6) при заданных начальных условиях при выполнении нормирующего условия:

для любых в заданном интервале. (7)

Обозначив , (8)

уравнение (6) можно записать в виде:

. (9)

Таким образом, если задана матрица переходных вероятностей и начальное состояние процесса, решение разностной системы (6) позволяет найти численное решение поставленной задачи – задачи построения процесса изменения вероятностей нахождения системы в тех или иных состояниях в зависимости от номера такта.

И в этом смысле система (6) представляет собой аналитическую модель для определения основных характеристик процесса перехода системы из одного дискретного состояния в другое по времени (или по тактам) при заданной матрице переходной вероятности и начальному состоянию.

Если вероятности не зависят от номера шага, марковский процесс является стационарным (или однородным). В этом случае при k® система (6) может иметь установившееся решение, которое определяется из условия D , или из условия . Установившиеся значения искомых вероятностей могут быть найдены из решения системы алгебраических уравнений, полученных из (9) приравниванием левой части к нулю.

Рассмотрим пример простой марковской цепи, заданной таблицей 9 вероятностей переходов и таблицей 10 выходов. Верхняя строка и левый столбец таблицы 9 соответствуют начальному состоянию. Граф переходов представлен на Рис.3.

	0.5			0.5
		0.75		0.25
		0.4		0.6
	1.0

таблица 9

Рис.3. Граф переходов состояний.

таблица 10

X
Y	0	0	1	1	0

В соответствии с (9) можно подсчитать финальные вероятности нахождения системы в одном из 4-х состояний (т.е. вероятности нахождения в определенном состоянии по прошествии длительного времени или так называемые финальные вероятности). Пусть эти вероятности . Соответственно графу переходов получим:

аналогично: и условие нормировки: ;

В результате получим .

Естественно, аппарат марковских цепей находит широкое применение при исследовании характеристик реальных систем, моделируемых в классе P -схем.

Схемы вероятностных автоматов (P -схемы) широко используются для разработки методов проектирования систем с дискретными состояниями, проявляющих статистически закономерное случайное поведение. Их также можно использовать в качестве генераторов марковских последовательностей случайных событий, которые необходимы для построения моделей процессов функционирования реальных систем и воздействий внешней среды.

Дата добавления: 2014-12-27