Математика
Advertisement

Метод наименьших квадратов(МНК) - математический метод, по нахождению приближающей функции - по набору данных(точек) , которая минимизирует сумму квадратов отклонений точек от найденной функции. 

Приближающая функция -

Сущность МНК

Требуется по значениям и как можно точнее оценить , точнее означает с минимальными ошибками, с минимальным разбросом(дисперсией), однако зависимость не должна быть просто построенной по точкам .
Из Модели Регрессии следует минимизировать дисперсию ошибок:

где — вектор неизвестных параметров.

Далее будем рассматривать только случай однопараметрического (однофакторного) МНК, когда приближающая функция зависит только от одного параметра , (т.е приближающая функция зависит только от одной переменной), поэтому считаем что дисперсия имеет вид:

Минимум будем искать как:

где — базис из линейно-независимых функций.

Минимизируя дисперсию ошибок по неизвестным параметрам , базисом может являться система линейно-независимых функций , при условии , тогда приближающая функция есть разложение по этому базису: , а функция дисперсии ошибки будет иметь вид:

Общий случай вычисления коэффициентов приближающей функции


Для этого дифференцируем (переобозначение: ) отдельно по каждому из параметров из , где пробегает значения от до :
, где
Получаем систему уравнений относительно параметров :


Используя:

приходим к:

,   где


Распишем предыдущую формулу в виде системы уравнений:

Процесс приведения системы уравнений к матричному виду:
Раскроем скобки и перенесём вправо:

В левой части, раскроем сумму по и перемножим:

Используя следующие переобозначения:

,  

Запишем предыдущую систему уравнений в матричном виде: ,

где , ,

Матрица - называется матрицей Грама.

решаем систему матричным методом и находим вектор искомых коэффициентов приближающей функции:

В результате, мы нашли приближающую функцию :

Основные случаи

Степенное разложение(общий случай)

Часто в виде системы линейно-независимых функций выбирают набор степенных функций и приближающую функцию ищут в виде:

Тогда система уравнений будет иметь следующий вид:

(далее производится суммирование которое просто обозначаем  )

где ,   

Вектор коэффициентов:

На практике применима до степени из-за быстрого нарастания ошибки при вычислении матрицы .

Приближение линейной зависимостью

Набор данных(точки) , приближается линейной зависимостью(прямой):

Базисные функции линейной зависимости:

(далее производится суммирование )

,

Таким образом вычислили коэффициенты и нашли приближающую функцию:

Ортогональность линейно-независимой системы функций

Чтобы упростить решение системы уравнений находя матричным методом , нужно матрицу привести к диагональному виду, для этого необходимо чтобы базисные функции по которым разложена приближающая функция были ортогональны на определённом интервале, например на .

То есть их скалярное произведение:

обладало бы свойством ортогональности:  на интервале

Тогда матрица Грама станет диагональной:

а набор коэффициентов может быть легко вычислен:


В данном случае, коэффициенты приближающей функции называется коэффициентами Фурье

А сама приближающая функция - обобщённым многочленом Фурье:


Однако, ортогональные функции, назовём их (чтобы отличать от первоначально заданного линейно-независимых функций ) заранее неизвестны и определяются относительно того или иного скалярного произведения .

Находятся методом ортогонализации линейной-независимого набора векторов (процесс Грама-Шмидта):

где

Таким образом мы получили приближающую функцию наилучшего среднеквадратичного приближения, в виде разложения в ряд Фурье(обобщённого многочлена):

где

Однако, такой метод нахождение базисных функции является численно неустойчивым, так как происходит накопление ошибки включающей в себя вычисления предыдущих функций.

Для того чтобы избежать накопления ошибки при вычислениях базисных функций , нужно воспользоваться рекуррентным соотношением ортогональных многочленов:

где

.

Для случая когда приближение производится степенными функциями, т.е. рекуррентное соотношение имеет вид:

где

Иногда приведённые выше многочлены носят названия многочленов Чебышева, но не стоит их путать с классическими многочленами Чебышева.

Рекуррентное соотношение может быть упрощено[1], если область определения функции , отобразить на интервал симметричный относительно нуля :

Примером отображения , для равноотстоящих точек, может быть функция:

Тогда рекуррентное соотношение будет иметь более простой вид [1]:

где


Ссылки

  1. 1,0 1,1 "Вывод рекуррентного соотношения ортогональных многочленов из процесса ортогонализации Грама-Шмидта, а также схема применения полученного рекуррентного соотношения" Сухопаров C.Ю. http://vixra.org/pdf/1411.0072v1.pdf

Используемые материалы

1. "Вывод рекуррентного соотношения ортогональных многочленов из процесса ортогонализации Грама-Шмидта, а также схема применения полученного рекуррентного соотношения" Сухопаров С.Ю.[1]

2. http://solidbase.karelia.ru/edu/meth_calc/files/09.shtm «Аппроксимация функций методом наименьших квадратов»

Advertisement