§3.2 Перпендикуляр из точки на под пространство. Кратчайшее расстояние от точки до подпространства*).

Определение 2. Пусть $ R_1 -$ подпространство евклидова пространства R. Мы будем говорить, что вектор $ h \in R$ ортогонален подпространству $ R_1$, если он ортогонален любому вектору x из $ R_1$.

Если вектор h ортогонален векторам $ e_1, e_2, ..., e_m, $ то он ортогонален любой их линейной комбинации. Действительно из равенств
$$ (h, e_i) = 0 $$
следует, что для любых чисел $ \lambda_1, \lambda_2, ..., \lambda_m $
$$ (h_1, \lambda_1 e_1 + \lambda_2 e_2 + ... + \lambda_m e_m) = 0. $$
Поэтому, для того чтобы вектор h был ортогонален m-мерному подпространству $ R_1$, достаточно, чтобы он был ортогонален m линейно независимым векторам из $ R_1$ (базису в $ R_1$ **).

Упражнение. Показать, что совокупность всех векторов $ y \in R,$ ортогональных к подпространству $ R_1,$ также образует подпространство пространства R. Это подпространство называется ортогональным дополнением к подпространству $ R_1$ в пространстве R.

Рассмотрим в пространстве R некоторое m-мерное подпространство $R_1$ ***) и вектор f, не принадлежащий $ R_1$. Поставим задачу: опустить перпендикуляр из точки f на $ R_1$, т. е. найти вектор $f_0$ из $R_1$ такой, чтобы вектор $ h = f - f_0$ был ортогонален $ R_1$. Вектор $f_0$ называется при этом ортогональной проекцией вектора f на подпространство $R_1$. Несколько позже мы увидим, что эта задача имеет решение, притом единственное. Сейчас мы покажем, что, как и в элементарной геометрии, перпендикуляр есть кратчайшее расстояние от точки до подпространства. Другими словами, покажем, что если $f_1$ есть отличный от $ f_0$ вектор из $ R_1,$ то
$$ |f-f_1| > |f-f_0|. $$

Действительно, вектор $ f_0 - f_1,$ как разность двух векторов из $ R_1$, принадлежит $ R_1$, и, следовательно, ортогонален вектору $ h = f - f_0.$ По теореме Пифагора имеем:
$$ |f - f_0|^2 + |f_0 - f_1|^2 = |f - f_0 + f_0 - f_1|^2 = |f - f_1|^2 $$
и, значит,
$$ | f - f_1| > |f - f_0|. $$

Покажем теперь, как фактически вычислить по f его ортогональные проекцию $ f_0$ на подпространство $ R_1$ (т. е. опустить перпендикуляр из f на $ R_1$). Пусть базис подпространства $ R_1$ состоит из векторов $ e_1, e_2, ..., e_m.$ Будем искать вектор $ f_0$ в виде
$$ f_0 = c_1 e_1 + c_2 e_2 + ... + c_m e_m, \qquad \qquad (9)$$
где коэффициенты $c_k$ найдем из условия ортогональности $ f - f_0 $ к $ R_1.$ Для того чтобы эта ортогональность имела место, необходимо и достаточно, чтобы выполнялись m равенств $ (f - f_0, e_k) = 0 (k = 1, 2, ..., m), $ т. е.
$$ ( f_0, e_k) = (f, e_k). \qquad \qquad (10) $$
Подставляя сюда вместо $f_0$ его выражение (9), получаем систему m уравнений
$$ c_1 (e_1, e_k) + c_2 (e_2, e_k) + ... + c_m (e_m, e_k) = (f, e_k)$$
$$ (k = 1, 2, ..., m) \qquad \qquad (11)$$
относительно чисел $ c_i$.

Рассмотрим сначала отдельно часто встречающийся случай, когда базис $ e_1, e_2, ..., e_m -$ ортогональный и нормированный. В этом случае задача решается особенно просто. Действительно система (11) превращается в таком базисе в систему равенств
$$ c_i = (f, e_i), \qquad \qquad (12) $$
сразу определяющих нудные коэффициенты.

Так как в каждом m-серном подпространстве можно выбрать Ортогональный нормированный базис, то мы доказали, таким образом, что у каждого вектора f существует, и притом только одна, ортогональная проекция $ f_0$ на подпространство $ R_1. $

Вернёмся теперь к случаю произвольного базиса. В этом случае система 11) также должна иметь единственное решение. Действительно, вектор $f_0$, по дрказанному, существует и притом только один. В базисе $ e_1, e_2, ..., e_m. $ вектор $ f_0$ имеет вполне определенные координаты $ c_1, c_2, ..., c_m.$ Так как эти числа удовлетворяют системе (11), то эта система имеет, следовательно, единственное решение. Система m уравнений с m неизвестными может иметь единственное решение, лишь если не определитель отличен от нуля. Отсюда следует, что определитель системы (11)
$$\begin{vmatrix}
(e_1, e_1) & (e_2, e_1) & \cdots & (e_m, e_1) \\
(e_1, e_2) & (e_2, e_2) & \cdots & (e_m, e_2) \\
\cdots & \cdots & \cdots & \cdots \\
(e_1, e_m) & (e_2, e_m) & \cdots & (e_m, e_m)\\
\end{vmatrix}$$
отличен от нуля. Этот определитель называется определителем Грама векторов $ e_1, e_2, ..., e_m.$

Итак, пусть задано подпространство $R_1$ с базисом $ e_1, ..., e_m $ и произвольный вектор f пространства R. Ортогональная проекция $ f_0$ вектора f на $ R_1$ имеет вид
$$ f_0 = c_1 e_1 + ... + c_m e_m. $$
При этом, если базис $ e_1, e_2, ..., e_m $ ортогонален, то
$$ c_i = (f, e_i).$$
Если же базис $ e_1, ..., e_m $ произволен, то коэффициенты $ c_i$ определяются как решение системы (11).

Пример 1. Способ наименьших квадратов. Предположим, что величина y есть линейная функция величин $ x_1, ..., x_m, $ т. е. что
$$ y = c_1 x_1 + ... + c_m x_m, $$
где $ c_1, ..., c_m - $ постоянные, неизвестные нам коэффициенты. Часто коэффициенты $ c_1, ..., c_m $ определяются экспериментально. Для этого производится ряд измерений величин $ x_1, ..., x_m$ и y. Обозначим результаты k-го измерения через $ x_{ik}, ..., x_{mk}$ и, соответственно, $y_k.$
Коэффициенты $ c_1, ..., c_m $ можно было бы попытаться определить из системы уравнений
$$
\left.\begin{aligned}
x_{11} c_1 + x_{21} c_2 + ... + x_{m1} c_m = y_1, \\
x_{12} c_1 + x_{22} c_2 + ... + x_{m2} c_m = y_2, \\
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . \\
x_{1n} c_1 + x_{2n} c_2 + ... + x_{mn} c_m = y_n.
\end{aligned}\right\rbrace \qquad \qquad (13)
$$
Здесь число уравнений n равно числу произведенных измерений и обычно превосходит число неизвестных $ (n>m). $ Так как измерение величин $ x_1, ..., x_n, y$ неизбежно связано с погрешностями, то система (13), вообще говоря, противоречива и о ее точно решении говорит бессмысленно. Поэтому уравнениям (13) можно удовлетворить лишь приближенно. Таким образом, ставится задача разыскать такие значения неизвестных $ c_1, ..., c_m, $ при которых левые части уравнения (13) были бы возможно более близки к соответствующим правым частям. В качестве "меры близости" берется так называемое левых частей уравнений от свободных членов, т. е. величина
$$ \sum_{k = 1}^n (x_{1k} c_1 + x_{2k} c_2 + ... + x_{mk} c_m - y_k)^2. \qquad \qquad (14) $$
Нам нужно найти числа $ c_1, c_2, ..., c_m, $ при которых квадратичное уклонение имеет наименьшее значение.Эту задачу на минимум можно решить непосредственно. Однако ее решение можно сразу получить из результатов, изложенных выше.

В самом деле, рассмотрим n-мерное евклидово пространство и векторы $ e_1 = (x_{11}, x_{12}, ..., x_{1n}), e_2 = (_{21}, ..., x_{2n}, ...$
$ ..., e_m = (_{m1}, ..., x_{mn})$ и $ f=(y_1, ..., y_n) $ в этом пространстве. Правые части уравнений системы (13) являются компонентами вектора f, левые части - вектора
$$ c_1 e_1 + c_2 e_2 + ... + c_m e_m. $$
Выражение (14) есть, следовательно, квадрат расстояния вектора $ c_1 e_1 + c_2 e_2 + .... + c_m e_m $ от вектора f. Таким образом, условие, чтобы квадратичное уклонение было минимальным, равносильно следующей задаче: выбрать числа $ c_1, c_2, ..., c_m $ так, чтобы расстояние вектора f до вектора $ I_0 = c_1 e_1 + c_2 e_2 + ... + c_m e_m $ было наименьшим. Если обозначить через $ R_1$ подпространство n-мерного пространства, состоящее из линейных комбинаций векторов $ e_1, e_2, ..., e_m *), $ то задача состоит в нахождении проекции вектора f на это подпространство. Как мы видели (формула (11)), числа $ c_1, c_2, ..., c_m, $ решающие эту задачу, находятся из системы уравнений
$$
\left.\begin{aligned}
(e_1, e_1) c_1 + (e_2, e_1) c_2 + ... + (e_m, e_1) c_m = (f, e_1), \\
(e_1, e_2) c_1 + (e_2, e_2) c_2 + ... + (e_m, e_2) c_m = (f, e_2), \\
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . \\
(e_1, e_m) c_1 + (e_2, e_m) c_2 + ... +(e_m, e_m) c_m = (f, e_m),
\end{aligned}\right\rbrace
$$
где
$$ (f, e_k) = \sum_{i=1}^n x_{kj} y_j; (e_i, e_k) = \sum_{i=1}^n x_{ij} x_{kj}. $$

Система (15) называется в этом случае системой нормальных уравнений . Итак, приближенное решение системы (13) состоит в замене ее нормальной системой (15) m уравнений с m неизвестными. Изложенный метод называется способом наименьших квадратов.

Упражнение. Решить по способу наименьших квадратов систему уравнений
$$ 2c = 3,
3c = 4,
4c = 5. $$
Решение. $ e_1 = (2, 3, 4), f = (3, 4, 5). $ Нормальная система сводится в этом случае к одному уравнению:
$$ (e_1, e_1) c=(e_1, f_1),$$
т. е.
$$ 29c = 40; c = {{40} \over {29}}. $$

Для случая, когда система (13) есть система n уравнений с одним неизвестным
$$ x_1 c = y_1,
x_2 c = y_2,
. . . . . . . . . . . \qquad \qquad (13')
x_n c = y_n, $$
решение запишется следующим образом:
$$ c= {{(x, y)} \over {(x, x)}} = {{ \sum_{k=1}^n} x_k y_k \over { \sum_{k=1}^n x_k^2}} $$
Приближенное решение системы (13') может быть истолковано геометрически как проведение через начало координат прямой, проходящий "возможно более близко" от совокупности точек $ (x_1, y_1), (x_2, y_2), ..., (x_n, y_n).$ Число c представляет тогда угловой коэффициент такой прямой.

Пример 2. Приближение функций тригонометрическими многочленами. Пусть $ f(t) -$ некоторая непрерывная функция, заданная на интервале $ (0, 2π)$. Часто бывает нужно подобрать тригонометрический многочлен. $ P(t)$ данного порядка, возможно меньше отличающийся от $ f(t).$ В качестве меры отклонения $ P(t) $ от $ f_(t) $ мы возьмём квадратичное уклонение, которое задаётся формулой
$$ \int\limits_0^{2π} [f(t) - P(t)]^2 dt. \qquad \qquad (16)$$

Итак, точная постановка рассматриваемой задачи такова: среди всех тригонометрических многочленов порядка n
$$ P(t) = {{ \alpha_0 \over {2}} + \alpha_1 \cos t+b_1 \sin t + ... + \alpha_n \cos nt + b_n \sin nt \qquad \qquad (17)
найти тот, квадратичное уклоне которого от ваданной функции $ f(t) $ минимально.

Введем в рассмотрение пространство R непрерывных функций на отрезке $ (0; 2π).$ Скалярное произведение в этом пространстве зададим, как обычно, интегралом
$$ (g, g) = \int\limits_0^2π f(t) g(t) dt.$$
Длина вектора выражается тогда формулой
$$ |f| = \sqrt{ \int\limits_0^2π [f (t)]^2 dt}, $$
и следовательно, квадратичное уклонение (16) есть в нашем пространстве просто квадрат расстояния от $ i(t) $ до $P(t).$ Тригонометрические многочлены вида (17) образуют в R подпространство $ R_1$ размерности $ 2π + 1$. Нам нужно найти элемент из $ R_1,$ находящийся на минимальном расстоянии от $ f(t). $ Эта задача снова решается опусканием перпендикуляра из точки $ f(t) $ на подпространство $R_1$.
Так функции
$$ e_0 = {{1} \over { \sqrt{2π}}}; e_1 = {{ \cos t} \over { \sqrt{π}}}; e_2 = {{ \sin t} \over { \sqrt{π}}}; ...; e_{2n-1} = {{ \cos nt} \over { \sqrt{π}}}; e_{2n} = {{ \sin nt} \over { \sqrt{π}}}; $$
образуют ортогональный и нормированный базис в этом подпространстве (см. пример 2 предыдущего пункта), то решением этой задачи служит линейная комбинация базисных векторов.
$$ P(t) = \sum_{k=0}^{2π} c_k e_k, \qquad \qquad (18)$$
где
$$ c_k = (f, e_k), $$
т. е., вспоминая определение скалярного произведения имееим:
$$ c_0 = {{1} \over { \sqrt{2π}}} \int\limits_0^{2π} f(t) dt; c_{2k-1} = {{1} \over { \sqrt{π}}} \int\limits_0^{2π} f(t) \cos kt dt; $$
$$ c_{2k} = {{1} \over {π}} \int\limits_0^{2π} f(t) \sin kt dt \qquad (k=1, ..., n). $$
Подставляя $ c_k $ и $e_k (k=1, ..., n)$ в формулу (18), мы приходим, таким образом, к следующему результату: для того чтобы определить тригонометрический многочлен
$$ P(t) = {{\alpha_0} \over {2}} + \sum_{k=1}^n \alpha_k \cos kt + b_k \sin kt, $$
квадратичное уклонение которого от заданной функции $ f(t) $ минимально, надо определить коэффициенты $ \alpha_k, b_k$ по формулам
$$ \alpha_0 = {{1} \over {π}} \int\limits_0^{2π} f(t) dt; \alpha_k = {{1} \over {π}} \int\limits_0^{2π} f(t) kt dt; b_k = {{1} \over {π}} \int\limits_0^{2π} f(t) \sin kt dt. $$
Так определенные числа $ \alpha_k, b_k$ называются коэффициентами Фурье функции f(t).