Метод наименьших квадратов

51

Метод наименьших квадратов применяется при обработке измерений для сглаживания «шума» эксперимента: этот метод позволяет исправить случайные ошибки, неизбежно возникшие при измерениях, в том случае, когда характер зависимости измерений величины от независимой переменной задан.

Рассмотрим простейшую ситuation, когда измеряемая величина $y$ зависит ли ней от одной переменной $x$. Пусть произведено $n$ измерений и для значений $x_1, x_2, \dots, x_n$ переменной $x$ получены замеры $y_1, y_2, \dots, y_n$. Задча состоит в проведении прямой $y=ax+b$, наличищем образом приложающего к точкам $P(x_1; y_1), P(x_2; y_2), \dots, P(x_n; y_n)$.

Решение задачи, разумеется, зависит от того, что понятие под словами «наилучшим образом прилегающее» состоит в том, что «наилучший» считается та прямая, для которого приимает наименьшее значение сумма квадратов отклонений, т. е. выражение

$$A_n = \sum_{i=1}^{n} (y_i - (ax_i + b))^2. \tag{1}$$

На рисунке изображена искомая пряма $y=ax+b$ и точки $P_1, \dots, P_n$. Разность $y_i - (ax_i + b)$ показывает отклонение (вдоль оси ordinат) экспериментальной точки $P_i (x_i, y_i)$ от исходной прямой.

Как найти значение $a$ и $b$, минимизирующие выражения (1)? Предположим, что такие значения существует, и параметр $a$ нам уже найден. Чтобы найти $b$, перепишем $A_n$ в виде

$$A_n = \sum_{i=1}^{n} (y_i - ax_i)^2 - \sum_{i=1}^{n} 2b (y_i - ax_i) + \sum_{i=1}^{n} b^2 - 2b \sum_{i=1}^{n} (y_i - ax_i) + \sum_{i=1}^{n} (y_i - ax_i)^2.$$

Graph of $A_n$

Рассмотрим $A_n$ как (квадратную) функцию от $b$. Она достига минимума при

$$b = \frac{1}{n} \sum_{i=1}^{n} (y_i - ax_i) = \frac{1}{n} \sum_{i=1}^{n} y_i - \frac{a}{n} \sum_{i=1}^{n} x_i.$$

Положив

$$\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i; \bar{y} = \frac{1}{n} \sum_{i=1}^{n} y_i$$

можно написать $b = \bar{y} - a\bar{x}$, откуда для $A_n$ получим

$$A_n = \sum_{i=1}^{n} ((y_i - \bar{y}) - a (x_i - \bar{x}))^2 = a^2 \sum_{i=1}^{n} (x_i - \bar{x})^2 - 2a \sum_{i=1}^{n} (y_i - \bar{y}) (x_i - \bar{x}) + \sum_{i=1}^{n} (y_i - \bar{y})^2.$$

Рассмотрим теперь $A_n$ как квадратную функцию от $a$. Она очень/no доступа минимума при

$$a = \sum_{i=1}^{n} (y_i - \bar{y}) (x_i - \bar{x}) / \sum_{i=1}^{n} (x_i - \bar{x})^2.$$

Налучшей оказалась пряма $y=ax+b$, где

$$\frac{\sum_{i=1}^{n} (y_i - \bar{y}) (x_i - \bar{x})}{\sum_{i=1}^{n} (x_i - \bar{x})^2}, \frac{\bar{x} \sum_{i=1}^{n} (y_i - \bar{y}) (x_i - \bar{x})}{\sum_{i=1}^{n} (x_i - \bar{x})^2}, b = \bar{y} - \frac{\sum_{i=1}^{n} (y_i - \bar{y}) (x_i - \bar{x})}{\sum_{i=1}^{n} (x_i - \bar{x})^2}.$$

Задание

1. Решить задачу о сглаживании шума методом Гаусса для следующих не линейных функций от одной переменной
   a) $y=ax^2+bx+c$;
   b) $y=a \cdot \cos x+b \cdot \sin x$.
2. Как «работает» метод Гаусса в пространстве (для двух независимых переменных)? Рассмотрим задачу для плоскости $z=ax+by+c^*$.
3. Найти точку, для которой
   a) сумма расстояний от трех заданных точек (не лежащих на одной прямой) минимальная;
   b) сумма расстояний от трех заданных окружностей минимальная.

A. Строюва

*) Геометрическая иллюстрация к этой задаче дана на первой полосе обложки «Кванта» № 8.