Тема 3. Множественная линейная регрессия
3.1. Уравнение множественной линейной регрессии и регрессионная модель
На любой экономический показатель чаще всего оказывают влияние не один, а несколько факторов.
Например, спрос на товар определяется не только ценой данного товара, но и ценами на замещающие и сопутствующие товары, доходом покупателей и другими факторами.
В этом случае вместо парной регрессии М(Y|X=x) = f(x) рассматривается множественная регрессия:
М(Y|x1,х2,х3, …, хm) = f(x1,х2,х3, …, хm),
m – количество факторов (переменных Х) в регрессии.
Рассмотрим самую простую и наиболее часто используемую из моделей множественной регрессии – модель множественной линейной регрессии.
Генеральная совокупность
|
Выборка
|
Теоретическое уравнение регрессии:
M(Y|x1,х2,х3, …, хm) = 0 + 1x1+ 2x2 + … + mxm
|
Эмпирическое уравнение регрессии:
ŷi = b0 + b1x1+ b2x2+ … + bmxm
|
Теоретическая регрессионная модель:
yi = 0 + 1xi1+ 2xi2 + … + mxim + i
|
Эмпирическая регрессионная модель:
ŷi = b0 + b1xi1+ b2xi2+ … + bmxim + еi
|
Теоретические модели описывают взаимосвязь между переменными в генеральной совокупности. Для их построения необходимо иметь информацию обо всех объектах генеральной совокупности, что невозможно. Поэтому на практике на основе информации о выборке оцениваются эмпирические модели.
Уравнение множественной линейной регрессии показывает зависимость условного математического ожидания (среднего значения) результирующего показателя Y от совокупности факторов Х1, Х2, …, Хm.
Чтобы отразить зависимость возможного наблюдаемого значения Y от совокупности факторов используется множественная линейная регрессионная модель.
j (j = 1,2,…,m) – теоретические угловые коэффициенты регрессии;
0 – теоретический свободный член регрессии;
bj (j = 1,2,…,m) – эмпирические угловые коэффициенты регрессии;
b0 – эмпирический свободный член регрессии;
i (еi) – случайное отклонение.
Угловые коэффициенты j (bj) показывают изменение результирующего показателя Y при изменении соответствующего фактора Хj на единицу при условии, что все остальные факторы остаются неизменными.
Свободный член 0 (b0) показывает значение результирующего показателя Y при нулевых значениях всех факторов.
Эмпирические коэффициенты регрессии являются оценками теоретических коэффициентов регрессии.
3.2. Оценка коэффициентов множественной регрессии. Проверка адекватности эмпирическим данным
Самым распространенным методом оценки параметров уравнения множественной линейной регрессии является метод наименьших квадратов (МНК), суть которого состоит в минимизации суммы квадратов случайных отклонений.
Формулы определения коэффициентов регрессии по МНК различаются в зависимости от числа факторов Х, входящих в уравнение регрессии. Чтобы получить общее решение задачи определения коэффициентов, воспользуемся векторно-матричной формой записи переменных:
   
Y – вектор-столбец значений результирующего показателя размерностью n;
Х – матрица значений факторов размерностью n (m+1), в которой i-ая строка представляет собой набор значений факторов, соответствующий i-ому наблюдению, а j-тый столбец представляет собой набор значений j-того фактора;
В – вектор-столбец коэффициентов регрессии размерностью (m+1);
Е – вектор-столбец случайных отклонений размерностью n.
Вектор коэффициентов регрессии определяется следующим образом:
В = (ХТХ)-1ХТY
ХТ – матрица, транспонированная к Х;
(ХТХ)-1 – матрица, обратная к (ХТХ).
Полученная формула справедлива для уравнений с любым количеством факторов.
Вычисление коэффициентов множественной регрессии вручную является достаточно трудоемким процессом. Поэтому построение уравнения множественной регрессии обычно производят с помощью различных компьютерных программ.
Построенное уравнение множественной линейной регрессии необходимо в первую очередь проверить на адекватность эмпирическим данным. Для этого можно использовать два показателя: стандартную ошибку регрессии и коэффициент детерминации.
Стандартная ошибка множественной регрессии определяется следующим образом:
m – число факторов в регрессионной модели.
Стандартная ошибка показывает, на сколько в среднем отличаются наблюдаемые значения результирующего показателя yi от прогнозируемых по уравнению регрессии ŷi.
Коэффициент детерминации определяется так же, как и для парной регрессии:
В случае множественной регрессии коэффициент детерминации показывает, какую долю разброса результирующего показателя Y можно объяснить с помощью используемых в уравнении регрессии m факторов.
3.3. Статистические выводы на основе уравнения множественной регрессии
Чтобы по МНК можно было получить несмещенные, эффективные и состоятельные оценки коэффициентов регрессии, необходимо, чтобы выполнялись предпосылки МНК.
Большая часть предпосылок была перечислена при описании парной линейной регрессии. Для множественной регрессии необходимо добавить еще 2 предпосылки:
6. Отсутствие мультиколлинеарности: между факторами отсутствует сильная линейная зависимость.
7. Случайное отклонение должно иметь нормальное распределение: N(0,).
Если все предпосылки МНК выполняются, можно получить надежные статистические выводы о качестве уравнения регрессии.
Наиболее важный статистический вывод для множественной регрессии заключается в проверке, объясняют ли все участвующие в регрессии факторы вместе достаточно большую (значимую) часть разброса результирующего показателя.
Для проверки используется гипотеза о проверке значимости коэффициента детерминации, поскольку этот коэффициент как раз и показывает, какую долю разброса результирующего показателя удалось объяснить с помощью уравнения регрессии – значимую или незначимую:
Н0: R2 = 0
Н1: R2 > 0
Критерием для проверки этой гипотезы является критерий Фишера:
Этот критерий имеет распределение Фишера с числами степеней свободы 1 = m и
2 = n – m – 1.
Если будет принята нулевая гипотеза, набор данных состоит из не связанных между собой переменных. В дальнейшей проверке качества нет необходимости.
Если в результате проверки будет принята альтернативная гипотеза, можно продолжать исследование, и выявлять значимые и незначимые факторы. Для этого проводится проверка значимости угловых коэффициентов b1, b2, …, bm, которая в случае множественной регрессии не заменяет проверку значимости коэффициента детерминации, а дополняет ее.
Н0: β = 0
Н1: β ≠ 0
Для проверки используется критерий  , который подчинен распределению Стьюдента с числом степеней свободы = n – m – 1.
Значимость угловых коэффициентов bj подтверждает наличие взаимосвязи между результирующим показателем Y и фактором Xj.
Если угловой коэффициент bj незначим, это означает, что фактор Xj линейно не связан с результирующим показателем Y. Поэтому данный фактор можно исключить из уравнения регрессии без существенного снижения качества уравнения.
После исключения незначимых факторов параметры уравнения регрессии должны быть заново определены, так как меняется спецификация модели.
Значимость свободного члена b0 подтверждает, что уравнение регрессии не проходит через начало координат.
Стандартные ошибки коэффициентов определяются из значений выборочных дисперсий коэффициентов:  .
Выборочные дисперсии эмпирических коэффициентов регрессии можно определить на основе матричной формы МНК:
S2bj = S2e · Zjj, j = 0,1,…,m
где Zjj – j-тый диагональный элемент матрицы Z = (XTX)-1.
Кроме того, выборочные дисперсии и стандартные ошибки эмпирических коэффициентов регрессии могут быть получены с помощью специальных компьютерных программ (например, в MS Excel – функция ЛИНЕЙН или режим «Регрессия»).
Стандартные ошибки эмпирических коэффициентов используются как для расчета критерия значимости теоретического коэффициента, так и для построения доверительного интервала для его истинного значения:
(b – tкр · Sb; b + tкр · Sb),
где tкр определяется для числа степеней свободы = n – m – 1.
В границах доверительного интервала с заданной вероятностью лежит значение соответствующего теоретического коэффициента регрессии.
Если все проверки подтверждают качество уравнения регрессии (коэффициент детерминации и все угловые коэффициенты значимы, выполняются все предпосылки МНК), построенное уравнение можно использовать для прогнозирования значений результирующего показателя. |
