Метод наименьших квадратов

Пусть проводится n однородных испытаний или экспериментов, и результатом каждого испытания является пара чисел – значений некоторых переменных x и y. Испытание с номером i приводит к числам x_i, y_i. В качестве испытания можно, например, рассматривать выбор определенного предприятия в данной отрасли промышленности, величиной x считать объем производства продукции (например, в миллионах рублей), величиной y – объем экспорта этого вида продукции (в миллионах рублей), и обследовать n предприятий отрасли.

Итогом этих испытаний является таблица:

			...
			...

где каждому числу x_i (величину рассматриваем как независимый показатель или фактор) поставлено в соответствие число (величину рассматриваем как зависимый показатель – результат).

В качестве значений часто рассматриваются моменты времени: t ₁, t ₂,..., t_n, взятые через равные промежутки. Тогда таблица

			...
			...

называется временным рядом.

Нас интересует вопрос, как найти приближенную формулу для функции y = f(x), которая “наилучшим образом” описывала бы данные таблицы.

Пусть точки с координатами (x_i, y_i) группируются на плоскости вдоль некоторой прямой. Задача заключается в том, чтобы найти параметры a ₀ и a ₁ этой прямой:

y = a ₀ + a ₁ x, (1)

причем это нужно сделать так, чтобы она лучше любой другой прямой соответствовала расположению на плоскости экспериментальных точек (x_i, y_i).

Признаком наилучшей прямой считается минимум суммы квадратов отклонений фактических значений y, полученных из таблицы, от вычисленных по формуле (1). Эта сумма квадратов рассчитывается по формуле

S ² = (y ₁ – (a ₀ + a ₁ x ₁))² + (y ₂ – (a ₀ + a ₁ x ₂))² +...+ (y_n – (a ₀ + a ₁ x_n))² =

.

Обратим внимание на то, что все x_i и y_i — известные из таблицы числа, а S ² есть функция двух переменных a ₀ и a ₁.

S ² = S ²(a ₀, a ₁)

Можно показать, что график функции S ² выглядит примерно так, как изображено на рисунке. Единственная точка, в которой обе частные производ­ные и равны нулю, является точкой минимума.

Отсюда следует, что точку минимума можно искать, используя лишь необходимые условия экстремума:

, (2)

. (3)

На самом деле для функции S ² = S ²(a ₀, a ₁) достаточно легко проверить выполнение достаточных условия экстремума, тогда не нужно обращаться к графику функции.

Уравнения (2) и (3) можно преобразовать:

. (4)

Получилась так называемая система нормальных уравнений относительно неизвестных величин a₀ и a₁.

Формула (1) с параметрами a ₀, a ₁ определенными из системы (4), называется уравнением регрессии. Прямая линия, описываемая этим уравнением, называется линией регрессии. Для временных рядов обычно вместо слова “регрессия” употребляется слово тренд.

Если экспериментальные точки в плоскости группируются вдоль некоторой кривой линии, то можно подобрать вместо формулы (1) другую подходящую формулу, например, y = a ₀ + a ₁ x + a ₂ x ² или y = a ₀ exp(a ₁ x) с параметрами соответственно a ₀, a ₁, a ₂ и a ₀, a ₁, подставить ее в выражение и искать минимум получившейся функции S ² при помощи частных производных по параметрам.

Дата добавления: 2013-12-13