МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ — метод решения следующей задачи: в евклидовом пространстве , точки которого обозначаются , задано множество из точек , . Рассматривается класс функций , где — параметры, выделяющие конкретную функцию из класса . Требуется найти такую функцию , чтобы ее значения в точках отклонялись от соответствующих «как можно меньше». Точный смысл последнего требования таков: найти значения параметров такие, чтобы функция

имела в точке минимум.

График функции будет при этом в известном смысле наилучшим образом приближать систему точек .

Указанная задача, естественно, возникает при вычислении функции, описывающей какое-либо явление, по наблюдаемым значениям точки множества и при том (заранее известном) условии, что искомая функция принадлежит классу . (Наблюдаемые значения при этом рассматриваются как возмущенные истинные значения, характеризующие данное явление.)

Простейшей задачей, решаемой по М. н. к., является следующая: на плоскости дано множество из точек: , . Требуется вычислить линейную функцию (т. е. найти и ) так, чтобы функция

достигала в точке своего минимума.

Решение этой задачи существует, единственно и описывается формулами:

, . (*)

При этом искомая прямая имеет уравнение

В написанных формулах

, , , . (**)

Прямая, являющаяся решением задачи, называется прямой регрессии (игрека на икс). Говорят также о регрессии икса на игрек. Под этим понимают рассмотренную выше задачу с той только разницей, что вычисляют прямую с уравнением вида . Решение этой задачи описывается формулами (*), (**), в которых и следует поменять местами.

Другой важной в применениях задачей является такая: в -мерном евклидовом пространстве задано множество из точек: , . Требуется найти уравнение гиперплоскости (т. е. найти ) такое, что функция

имела минимум в точке .

Оказывается, что искомые числа удовлетворяют следующей системе линейных уравнений:

, ,

где , , , , , ; .

Задача о нахождении функции вида по заданному множеству точек , также может быть решена М. н. к. Искомые коэффициенты удовлетворяют, как можно доказать, следующей системе линейных уравнений:

, ,

где , ; .

Следует заметить, что если класс функций , среди элементов которого требуется определить наилучший многочлен, состоит из всех многочленов степени меньшей или равной , то решением задачи является функция, график которой проходит через все заданные точки множества . Однако такая постановка задачи зачастую лишена практического смысла.

М. н. к. применяется для нахождения одной или нескольких величин по результатам измерений, содержащим случайные ошибки. М. н. к . используется также для приближенного представления заданной функции другими (более простыми функциями). Пусть для разыскания значения неизвестной величины произведено независимых измерений, давших значения , т.е. , где случайные ошибки являются независимыми случайными величинами с математическим ожиданием и дисперсией . Согласно М. н. к. в качестве величины берут такое , для которого будет наименьшей сумма квадратов:

Здесь . Коэффициент можно выбрать произвольно. Для того чтобы сумма была наименьшей, необходимо в качестве выбрать

так в простейшем случае применяется М. н. к.

Этот способ применяется и для приближения функций. Пусть, например, функция задана таблицей значений , и пусть задано некоторое семейство функций . Требуется так приблизить функцию функцией вида