Основы построения регрессионных моделей

Метод наименьших квадратов - один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина прямой или угол, то, для увеличения точности, измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятности; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

Большие затруднения представляются при определении из наблюдений величин, которые не могут быть измерены непосредственно. При этом, если бы число уравнений равнялось числу неизвестных, то для каждой неизвестной получилась бы одна определенная величина; если же число уравнений больше числа неизвестных, то, вследствие ошибок наблюдений, результаты решений отдельных групп этих уравнений в различных сочетаниях оказываются не совсем согласными между собой.

До начала XIX в. учёные не имели опредёленных правил для решения системы уравнений, в которой число неизвестных менее числа уравнений; до этого времени употреблялись частные приёмы, зависевшие от вида уравнений и от остроумия вычислителей, и потому разные вычислители, исходя из тех же данных наблюдений, приходили к различным выводам. Лежандру (1805-06) и Гауссу (1794-95) принадлежит первое применение к решению указанной системы уравнений теории вероятности, исходя из начал, аналогичных с началом арифметической середины, уже издавна и, так сказать, бессознательно применяемых к выводам результатов в простейшем случае многократных измерений. Как и в случае арифметической середины, вновь изобретённый способ не даёт, конечно, истинных значений искомых, но даёт зато вероятнейшие значения. Этот способ распространён и усовершенствован дальнейшими изысканиями Лапласа, Энке, Бесселя, Ганзена и др. и получил название метода наименьших квадратов, потому что после подстановки в начальные уравнения неизвестных величин, выведенных этим способом, в правых частях уравнений получаются если и не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков, после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.

Пусть дано решить систему уравнений

ax + by + cz… + n = 0x + b1y + c1z… + n1 = 0 (1)x + b2y + c2z… + n2 = 0

число которых более числа неизвестных x, у, z… Чтобы решить их по способу Н. квадратов, составляют новую систему уравнений, число которых равно числу неизвестных и которые затем решаются по обыкновенным правилам алгебры. Эти новые, или так называемые нормальные, уравнения составляются по следующему правилу: умножают сперва все данные уравнения на коэффициенты у первой неизвестной х и, сложив почленно, получают первое нормальное уравнение, умножают все данные уравнения на коэффициенты у второй неизвестной у и, сложив почленно, получают второе нормальное уравнение и т. д. Если означить для краткости:

[aa] = a1a1 + a2a2 +…

[ab] = a1b1 + a2b2 +…

[ac] = a1c1 + a2c2 +…

[bb] = b1b1 + b2b2 +…

[bc] = b1c1 + b2c2 +…

то нормальные уравнения представятся в следующем простом виде:

[aa]x + [ab]y + [ac]z +… [an] = 0

[ab]x + [bb]y + [bc]z +… [bn] = 0 (2)

[ac]x + [bc]y + [cc]z +… [cn] = 0

Легко заметить, что коэффициенты нормальных уравнений весьма легко составляются из коэффициентов данных, и притом коэффициент у первой неизвестной во втором уравнении равен коэффициенту у второй неизвестной в первом, коэффициент у первой неизвестной в третьем уравнении равен коэффициенту у третьей неизвестной в первом и т. д. Для пояснения сказанного ниже приведено решение пяти уравнений с двумя неизвестными:

5x - 8y - 16 = 0

x - y - 32 = 0

x + 8y - 55 = 0

x + 7y - 32 = 0

x + 20y - 29 = 0

Составив значения [aa], [ab] , получаем следующие нормальные уравнения:

Перейти на страницу: 1 2 3 4 5

Интересное по теме

Расчет основных экономических показателей деятельности предприятия
Предприятие является структурным звеном экономики в целом, которое выполняет один или несколько специфических функций по производству и распределению разнообразных товаров и услуг. Оно выступает в качестве товаропроизводителя, а, следовательно, решает ряд взаимосвязанных задач: получение п ...

Расчет себестоимости продукции
Организация любого вида деятельности на предприятии связана с определенными расходами текущего и капитального характера. Текущие расходы связаны с решением тактических задач хозяйственной деятельности предприятия - приобретением сырья и материалов, содержанием персонала, облуживанием матер ...

Реструктуризация компаний

В экономической литературе и на практике проблему реструктуризации собственности и реорганизации предприятий в основном связывают с кризисом в организации.

Сдельная
оплата труда

Выбор рациональных форм и систем оплаты труда работников имеет важнейшие социально-экономическое значение для каждого предприятия.

Собственность
на землю

Собственность на землю - принадлежность земли определенным лицам. В определенных исторических условиях отражался конкретный тип отношений собственности.