31. 단순회귀분석
- 평생학습관/경영지도사 2차
- 2017. 5. 14. 01:00
지난 시간에는 '제14장. 상관분석과 회귀분석' 중 '상관분석'에 대한 내용을 요약해 보았다. (지난 시간의 요약내용은 아래 타이틀 하단의 '이전글' 을 통하여 확인할 수 있다)
이어서 이번 시간에는 '단순회귀분석'과 관련한 주요내용을 정리해보도록 할텐데, 지난 시간에 정리한 상관분석은 두 변수 간의 선형관계를 조사했던데 비하여, 회귀분석은 한 변수를 종속변수로, 그리고 다른 변수들을 독립변수로 설정하여 이들 간의 관계를 분석하는 것이다.
이 때 독립변수가 한 개인 경우를 단순회귀분석이라고 한다.
그럼 시작해보자.
-------------------------------------------------
Written by 행복을만드는전략가
독한 세상에서 행복을 만드는 전략과 정보
-------------------------------------------------
Theme
단순회귀분석
※이전글 - 30. 상관분석
단순회귀분석(Simple regression analysis) 의 주요 개념
1. 회귀분석의 목적
1-1. 인과관계의 규명
1-2. 인과관계 정도의 규명
1-3. 회귀식의 발견을 통한 변화의 예측
2. 단순회귀식 : 단순회귀분석의 기본적인 과업은 아래와 같은 회귀식(회귀방정식)을 추정하는 것이다.
2-1. 위 식에서 'Y'는 종속변수를, 'X'는 독립변수를 의미한다.
2-2. 'β' 는 회귀계수로써, 'β0' 는 Y절편을, 'β1' 은 기울기를 나타낸다.
2-3. 표본의 회귀식(추정회귀식)은 아래와 같이 표현된다.
3. 최소자승법
각각의 y값과 대응하는 y hat 값의 차이(추정오차)의 제곱합을 가장 작게 하는 추정회귀식을 발견하는 방법이며, 추정오차의 제곱합 'SSE' 를 식으로 표현하면 다음과 같다.
4. 독립변수의 설명력
4-1. 결정계수(r²) : 독립변수가 종속변수의 분산을 설명하는 정도이며, 회귀식이 자료에 적합한 정도도 나타낸다.
4-2. 결정계수의 값이 클수록 회귀식이 자료를 잘 나타낸다고 할 수 있다.
4-3. 결정계수는 0에서 1 사이의 값을 갖고, 아래와 같이 구할 수 있다.
5. 상관관계와 기울기
상관관계의 크기와 기울기의 크기는 완전히 독립적이다. 상관관계의 크기는 선형에 가까울수록 크다고 할 수 있다.
회귀식의 발견과 검증
1. 최소자승법에 의한 회귀계수의 추정
2. 독립변수 계수의 유의성 검증을 위한 검증통계량
자유도가 'n - 2' 인데, 이것은 독립변수에서 하나, 종속변수에서 하나씩 빠지기 때문이다.
3. 예제
Q) 아래 자료에서 광고비를 독립변수로, 매출액을 종속변수로 하는 회귀식을 구하고 독립변수 계수의 유의성을 검증하시오 (α = 0.05)
* SSx = 0.444
* SSy = 1,600.9
* SSxy = 23.34
* SSE = 373.97
* X bar = 0.94
* Y bar = 95.90
A-1) 양측검증의 경우 (광고비 지출과 매출액 간에는 인과관계가 있을 것이다)
Step 1) 추정회귀식의 발견
* β1 = 23.34 / 0.444 = 52.567
* β0 = 95.9 - (52.567 * 0.94) = 46.49
* Y hat = 46.49 + 52.567X
Step 2) 결정계수 (회귀식이 종속변수를 설명하고 예측하는데 유용한지를 판단)
* r² = 1,600.9 - 373.97 / 1600.9 = 0.766
* 매출액의 분산 중 76.6%는 광고비 지출에 의해 설명된다고 할 수 있다.
cf. 상관계수를 제곱하더라도 동일한 값을 얻을 수 있다.
Step 3) 독립변수 계수의 유의성 검증을 위한 가설설정
* H0 : β1= 0 ㅣ H1 : β1 ≠ 0 (양측검증)
Step 4) 검증통계량 계산 : t obs = 5.12
Step 5) 't-분포표' 에서 임계치를 찾아 기각역 설정 : t crit = t (0.025 : 8) = 2.306
Step 6) 귀무가설의 기각여부 결정 :
'ㅣt obsㅣ> t crit ' 이므로 귀무가설은 기각된다. 따라서 광고비 지출이 매출액에 영향을 미친다는 결론을 내릴 수 있고, 위에서 발견한 회귀식으로 y를 예측할 수 있다.
cf. 단, Y값을 추정할 때에는 원래 사용한 X의 범위 내에서만 가능하다.
A-2) 단측검증의 경우 (광고비 지출이 많을수록 매출은 향상될 것이다)
* 가설설정 : H0 : β1 = 0 ㅣ H1 : β1 > 0 (우측검증)
* t crit = t (0.05 : 8) = 1.86
* 'ㅣt obsㅣ> t crit ' 이므로 귀무가설은 기각된다. 따라서 광고비 지출이 많을수록 매출은 향상될 것이라고 예측할 수 있다.
