Краткие сведения из теории вероятности

Канал

Теория информация

Клод Шинонн – родоначальник Теории информации.

X – входной алфавит

Y – выходной алфавит

Скорость передачи R (бит / сек) – количество знаков, передаваемое по каналу в единицу времени.

Пропускная способность канала связи С (бит / сек).

– вероятность ошибки.

Теорема. Если R<C, то существует способ связи, при котором вероятность ошибки может быть сделана сколь угодно малой.

{X, P(x)} – ансамбль

Двумерное распределение:

XY - декартово произведение

Распределение вероятности на входе:

– формула умножения вероятностей

– формула Баеса

Р – матрица переходных вероятностей

P(x_i) - априорное распределение

P(x_i | y_j) – апостериорное распределение, считается по формуле Баеса

Правило Вудворда: от канала нельзя ничего получить, кроме перехода от априорного к апостериорному распределению.

– функция правдоподобия

Дата добавления: 2014-01-06