Модель Регрессии

Пусть случайная величина $X$ зависит от величины $T$ которая принимает значения ${t_{1},...,t_{n}}$ , эти значения величины $T$ фиксированы, т.е. не являются случайными. Обозначим через $f(t)$ функцию, отражающую зависимость среднего значения(мат.ожидания) $X$ от значений $T$ :

M(X\ |\ T=t)=f(t)

Функция $f(t)$ называется — линией регрессии $X$ на $T$ , а $X=f(t)$ — уравнением регрессии.

После $n$ экспериментов, в которых $T$ последовательно принимает значения $T=t_{1},...,T=t_{n}$ получим значения наблюдаемой величины $X$ , равные $X_1,...,X_n$ . Обозначим через $\varepsilon_i$ разницу $X_{i}-M(X\ |\ T=t_{i})=X_{i}-f(t_{i})$ между наблюдаемой в $i$ -м эксперименте случайной величиной и её математическим ожиданием, таким образом:

\varepsilon _{i}=X_{i}-f(t_{i}),\ i=1,...,n

где $\varepsilon_i$ - ошибки наблюдения, равные в точности разнице между реальным и усредненным значением случайной величины $X$ при значении $T=t_{i}$ .

Вектор ошибок ${\vec {\boldsymbol {\varepsilon }}}=\{\varepsilon _{1},..,\varepsilon _{n}\}$ состоит из независимых и нормально распределённых случайных величин с одинаковой дисперсий и нулевым средним, т.е. ошибки должны соответствовать допущениям Гаусса-Маркова:

$M(\varepsilon _{i})=0,\ \forall i$ - мат.ожидание(среднее значение) равно нулю.
$D(\varepsilon _{i})=\sigma ^{2}<+\infty ,\ \forall i$ - дисперсия одинакова и не бесконечна.
${\rm {cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j$ - независимость величин.

Так как $\forall \varepsilon _{i}$ $M(\varepsilon _{i})$ и $D(\varepsilon _{i})$ одни и те же, то можно считать набор $\{\varepsilon _{1},..,\varepsilon _{n}\}$ — элементарными событиями одной и тойже же случайной величины $\boldsymbol \varepsilon$ .

Дисперсия случайной величины $\boldsymbol \varepsilon$ :

D[{\boldsymbol {\varepsilon }}]=M[{\boldsymbol {\varepsilon }}^{2}]-(M[{\boldsymbol {\varepsilon }}])^{2}={\frac {1}{n}}\sum _{i=1}^{n}\varepsilon _{i}^{2}

И возвращаясь к: $\varepsilon _{i}=X_{i}-f(t_{i})$ :

D[{\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-f(t_{i}))^{2}

Предполагается, что функция $f(t)$ полностью определяется неизвестными параметрами ${\vec {c}}=\{c_{0},..,c_{m}\}$ , т.е. $f(t,{\vec {c}})$ .

Таким образом, получаем зависимость дисперсии ошибки от вектора неизвестных параметров $\vec{c}$ :

D[{\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-f(t_{i},{\vec {c}}))^{2}

Таким образом, дисперсия ошибки есть функция от вектора неизвестных параметров: $D[{\boldsymbol {\varepsilon }}]\equiv D[{\boldsymbol {\varepsilon }}]({\vec {c}})$

Требуется по значениям $t_{1},...,t_{n}$ и $X_1,...,X_n$ как можно точнее оценить $f(t)$ , точнее означает с минимальными ошибками, с минимальным разбросом(дисперсией), однако зависимость $f(t)$ не должна быть просто построенной по точкам $(t_{i},X_{i})$ .

Предположим, что раз дисперсия ошибок $D[{\boldsymbol {\varepsilon }}]\subset (0,+\infty )$ , то $D[{\boldsymbol {\varepsilon }}]$ имеет экстремум(минимум) на $(0, + \infty)$ .