7편 · 기초통계 분석과 회귀분석 — t검정·ANOVA·교차분석·상관·회귀

학습 경로 · 3과목 2장 (2)

← 6편 · 통계의 이해 · 다음: 8편 · 다변량 분석과 시계열 →

범위: 교재 3과목 2장 02 "기초통계"(t검정, 분산분석, 교차분석, 상관분석)와 03 "회귀분석"(개요, 단순·다중 선형회귀, 최적 회귀방정식, 고급 회귀분석).

형광펜 읽는 법: 노랑 핵심 정의·결론 · 빨강 시험에서 헷갈리는 구분·함정 · 파랑 외워야 할 순서·목록

---

단원 도입

PART 1 · 평균 비교와 범주형 분석

1. t검정

모집단 분산을 모르고 표본이 작을 때 평균을 비교한다. 기본 가정은 정규성이다.

• 독립표본 t검정은 두 집단 분산이 같은지에 따라 방법이 달라진다 → 먼저 F검정(var.test)으로 등분산성을 확인.

2. 분산분석 (ANOVA)

• 귀무가설: 모든 집단의 평균이 같다. 대립가설: 적어도 한 집단의 평균은 다르다.
• 가정: 정규성 · 등분산성 · 독립성
• 독립변수(요인)가 하나면 일원배치(one-way) ANOVA, 둘이면 이원배치(two-way) — 이원배치는 두 요인의 교호작용도 검정.
• F = 집단 간 평균제곱(MSB) ÷ 집단 내 평균제곱(MSW). 집단 간 차이가 클수록 F가 커지고 p-value가 작아진다.
• ANOVA로 "다르다"는 결론이 나면 어느 집단끼리 다른지 사후검정(post-hoc) 으로 확인한다: Tukey HSD, Scheffe, Duncan, Bonferroni 등.

3. 교차분석 (카이제곱 검정)

범주형 변수의 관계를 교차표(분할표) 의 빈도로 분석한다. 관측빈도와 기대빈도의 차이로 만든 χ² 통계량을 쓴다.

• R: chisq.test(table). 기대빈도가 5 미만인 칸이 많으면 피셔의 정확 검정(fisher.test).

4. 상관분석

• 해석 기준(관례): 절댓값 0.7 이상 강함, 0.3부터 0.7 약함, 0.3 미만 거의 없음.
• R: cor(x, y), cor(x, y, method = "spearman"), 검정은 cor.test() — p-value < 0.05면 "상관이 있다".
• 상관이 높다고 인과관계가 있는 것은 아니다.

선형 변환과 상관계수: X와 Y에 양수를 곱하거나 상수를 더해도 상관계수는 변하지 않는다. 단, 한쪽에만 음수를 곱하면 부호가 바뀐다. 예: X와 Y의 상관계수가 0.5이면, (2X + 3)과 (4Y - 1)의 상관계수는 0.5, (-2X)와 Y의 상관계수는 -0.5.

PART 2 · 회귀분석

5. 회귀분석의 개념

• 잔차(Residual): 실제값 - 예측값 (표본 기준). 모집단 기준이면 오차(Error).
• 최소제곱법(OLS): 잔차 제곱합(SSE)이 최소가 되도록 회귀계수를 추정.
• 범주형 독립변수는 더미 변수로 바꿔 넣는다.

회귀분석의 가정

선형성 · 독립성 · 등분산성 · 비상관성 · 정규성 — 선형성을 빼면 모두 오차(잔차) 에 대한 가정이다.

6. 결정계수와 분산분석표

• SST(총 변동) = SSR(회귀로 설명된 변동) + SSE(설명되지 않은 변동)
• 결정계수 R² = SSR ÷ SST, 또는 1 - SSE ÷ SST. 총 변동 중 모형이 설명하는 비율, 0부터 1, 1에 가까울수록 설명력이 높다. 단순회귀에서는 상관계수의 제곱과 같다.
• 수정된 결정계수(Adjusted R²): 독립변수를 추가하기만 해도 R²가 커지는 문제를 보완해 변수 개수로 보정한 값. 다중회귀에서는 수정된 R²로 비교하며, 항상 R²보다 작거나 같다.

7. 회귀모형 해석 순서

① 모형이 유의한가 → ② 계수가 유의한가 → ③ 설명력은 얼마인가 → ④ 가정을 만족하는가

1. 모형의 유의성: F 통계량의 p-value < 0.05 → 모형이 유의. 귀무가설은 "모든 회귀계수가 0이다".
2. 회귀계수의 유의성: 각 계수의 t 값의 p-value < 0.05 → 그 변수가 유의. 귀무가설은 "이 계수는 0이다".
3. 설명력: R²(단순), Adjusted R²(다중).
4. 잔차 진단: 정규성·등분산성·독립성.

8. 회귀분석의 종류

• 규제(Regularization): 계수가 지나치게 커지지 않도록 벌점을 주어 과적합과 다중공선성을 완화.

9. 다중공선성

• 다중공선성(Multicollinearity): 독립변수끼리 강한 상관이 있어 회귀계수 추정이 불안정해지는 문제. 예: "혈중 알코올 농도"와 "일평균 음주량"을 함께 넣는 경우.
• 진단: VIF(분산팽창요인) 가 10 이상이면 다중공선성이 있다고 본다. 상관계수 행렬, 공차한계(Tolerance, 0.1 이하)도 쓴다.
• 해결: 상관이 높은 변수 제거, 주성분분석(PCA) 으로 변수 축약, 릿지 회귀 등 규제.

10. 최적 회귀방정식 — 변수 선택

• 기준: AIC(아카이케 정보 기준), BIC(베이즈 정보 기준) — 둘 다 작을수록 좋은 모형. BIC는 변수 수에 더 큰 벌점을 주어 더 단순한 모형을 고른다. R: step(model, direction = "both").
• 그 밖에 Mallow's Cp, 수정 R²도 쓴다.

단원 마무리

장 요약

• 평균 비교: 한 집단 vs 값 → 일표본 t · 같은 대상 전후 → 대응 t · 다른 두 집단 → 독립 t · 세 집단 이상 → ANOVA(F).
• ANOVA 가정: 정규성·등분산성·독립성, 차이가 있으면 사후검정(Tukey 등).
• 교차분석(χ²): 적합도(한 변수), 독립성(두 변수), 동질성(여러 모집단).
• 피어슨(선형, 연속형) vs 스피어만(순위, 단조, 비모수). 음수를 곱할 때만 상관계수 부호가 바뀐다.
• 회귀 가정: 선형성·독립성·등분산성·비상관성·정규성.
• R² = SSR ÷ SST, 다중회귀는 Adjusted R². 해석 순서: F의 p → t의 p → R² → 잔차 진단.
• 다중공선성은 VIF 10 이상, Lasso(L1)는 변수 선택, Ridge(L2)는 계수 축소, AIC·BIC는 작을수록 좋다.

단답형 연습

1. 같은 대상의 처리 전후 평균을 비교하는 검정은? ______________
2. 세 집단 이상의 평균 차이를 검정하는 방법은? ______________
3. ANOVA 후 어느 집단끼리 다른지 확인하는 검정의 총칭은? ______________
4. 한 범주형 변수가 기대 비율을 따르는지 보는 검정은? ______________
5. 순위를 이용해 단조 관계를 측정하는 상관계수는? ______________
6. 잔차 제곱합을 최소화해 회귀계수를 구하는 방법은? ______________
7. 잔차의 독립성(자기상관)을 확인하는 검정은? ______________
8. 변수 개수를 고려해 보정한 결정계수는? ______________
9. 독립변수 간 강한 상관을 진단하는 지표와 기준값은? ______________
10. 매 단계 변수의 추가와 제거를 함께 검토하는 변수 선택법은? ______________

책을 덮고 꺼내 보기

• 독립 이표본 t검정에서 df가 18이면 전체 표본은 20개다.
• R²는 SSR을 SST로 나눈 값이다.
• 계수 제곱합에 벌점을 주는 회귀는 릿지 회귀다.
• AIC와 BIC는 작을수록 좋은 모형이다.

일표본·대응표본·독립표본 t검정은 각각 언제 쓰는가?

일표본은 한 집단 평균을 특정 값과 비교, 대응표본은 같은 대상의 전후 비교, 독립표본은 서로 다른 두 집단의 평균 비교.

모름헷갈림알고 있음

ANOVA의 귀무가설, 가정, 통계량은?

귀무가설은 "모든 집단 평균이 같다". 가정은 정규성·등분산성·독립성. 집단 간 평균제곱을 집단 내 평균제곱으로 나눈 F 통계량을 쓴다.

모름헷갈림알고 있음

교차분석의 세 가지 검정은?

적합도 검정(한 변수가 기대 분포를 따르는가), 독립성 검정(두 범주형 변수가 관련 없는가), 동질성 검정(여러 모집단의 범주 비율이 같은가).

모름헷갈림알고 있음

회귀분석의 다섯 가지 가정과 정규성 확인 방법은?

선형성, 독립성, 등분산성, 비상관성, 정규성. 정규성은 Q-Q plot, Shapiro-Wilk 검정, 히스토그램으로 확인한다.

모름헷갈림알고 있음

회귀 출력을 해석하는 순서는?

F 통계량의 p-value로 모형 유의성 → 각 계수 t 값의 p-value로 계수 유의성 → R²(다중은 수정된 R²)로 설명력 → 잔차로 가정 확인.

모름헷갈림알고 있음

다중회귀 출력에서 표본 수를 구하는 방법은?

잔차 자유도 + 독립변수 수 + 1. 예: 잔차 df 66, 독립변수 3개 → 70.

모름헷갈림알고 있음

Ridge와 Lasso의 차이는?

Ridge는 L2 규제(계수 제곱합)로 계수를 줄이되 0으로 만들지 않고, Lasso는 L1 규제(계수 절댓값 합)로 일부 계수를 0으로 만들어 변수 선택 효과가 있다.

모름헷갈림알고 있음

전진선택·후진제거·단계적 선택의 차이는?

전진은 빈 모형에서 변수를 하나씩 추가, 후진은 전체 모형에서 하나씩 제거, 단계적은 추가하면서 기존 변수의 제거 여부도 매 단계 검토한다.

모름헷갈림알고 있음

다음으로 갈 기준: lm 출력 하나를 보고 회귀식, 유의한 변수, 표본 수, 설명력을 30초 안에 말할 수 있으면 다음 편으로 간다: 8편 · 다변량 분석과 시계열.

정답과 해설

확인 문제 정답

1. 대응표본 t검정(paired t-test).
2. 일원배치 분산분석(ANOVA), 귀무가설은 "세 지역의 평균 지출액이 모두 같다".
3. 교차분석의 독립성 검정(카이제곱 검정).
4. Q-Q plot, Shapiro-Wilk 검정(히스토그램, K-S 검정도 가능).
5. 300 ÷ 400 → 0.75.
6. 라쏘(Lasso) 회귀.

단답형 정답

1. 대응표본 t검정
2. 분산분석(ANOVA)
3. 사후검정(Post-hoc test)
4. 적합도 검정
5. 스피어만 순위상관계수
6. 최소제곱법(OLS)
7. 더빈-왓슨 검정(Durbin-Watson)
8. 수정된 결정계수(Adjusted R²)
9. VIF, 10 이상
10. 단계적 선택법(Stepwise)