10편 · 정형 데이터 마이닝 (2) — 군집분석과 연관분석

학습 경로 · 3과목 3장 (2)

← 9편 · 데이터마이닝과 분류분석 · 처음으로: 0 · 시험 지도

범위: 교재 3과목 3장 03 "군집분석"(계층적 군집, 혼합 분포 군집, SOM), 04 "연관분석"(개요와 측도, 알고리즘).

형광펜 읽는 법: 노랑 핵심 정의·결론 · 빨강 시험에서 헷갈리는 구분·함정 · 파랑 외워야 할 순서·목록

---

단원 도입

PART 1 · 군집분석

1. 군집분석이란

• 군집의 수나 구조에 대한 사전 가정 없이 거리만으로 묶는다.
• 쓰임: 고객 세분화, 이상 탐지, 문서 분류.
• 분류분석(지도 학습)과 달리 정답이 없다.

2. 거리 척도

연속형 변수

범주형 변수

3. 계층적 군집 (Hierarchical clustering)

가장 가까운 개체(군집)끼리 하나씩 합쳐 가는 병합적(agglomerative) 방법이 주로 쓰인다. 군집 수를 미리 정하지 않는다. R: hclust(dist(x), method = "ward.D").

군집 간 거리 — 연결법

덴드로그램 (Dendrogram)

계층적 군집의 병합 과정을 나무 모양으로 그린 그림. 세로축은 병합될 때의 거리(높이)다. 어떤 높이에서 가로로 잘랐을 때 만나는 세로선의 수가 그 기준의 군집 수다. 높은 곳에서 자를수록 군집 수가 적다.

4. 비계층적 군집

K-평균 군집 (K-means)

① 군집 수 K와 초기 중심점 설정 → ② 각 개체를 가장 가까운 중심의 군집에 할당 → ③ 군집별 평균으로 중심점 갱신 → ④ 중심이 변하지 않을 때까지 ②·③ 반복

• K-medoids (PAM): 평균 대신 실제 데이터 중 하나인 대표 개체(medoid) 를 중심으로 써서 이상값의 영향을 줄인다.
• 엘보 방법(Elbow): K를 늘려 가며 군집 내 제곱합(WSS)을 그려 급격히 꺾이는 지점의 K를 고른다.

DBSCAN

• 밀도 기반 군집: 반경 ε 안에 최소 개수 이상의 점이 모인 곳을 군집으로 확장.
• 군집 수 K를 정할 필요가 없고, 임의 모양(U자·S자)의 군집도 찾으며, 밀도가 낮은 점은 노이즈(이상값) 로 처리해 이상값에 강하다.

혼합 분포 군집 (Mixture distribution clustering)

• 데이터가 여러 개의 확률분포(주로 정규분포)의 혼합에서 나왔다고 보고, 각 분포의 모수와 가중치를 추정해 군집을 정한다 → GMM(가우시안 혼합 모형).
• 각 개체가 각 군집에 속할 확률을 계산한다(확률 기반).
• 모수 추정에 EM 알고리즘을 쓴다:
  • E 단계(Expectation): 현재 모수로 각 개체가 각 군집에 속할 기댓값(확률) 계산
  • M 단계(Maximization): 그 기댓값으로 가능도를 최대화하는 모수 갱신
  • 수렴할 때까지 반복
• K-means보다 통계적이지만 계산이 많고, 군집 크기가 너무 작으면 추정이 어렵다. 이상값에 민감하다.

5. 자기조직화지도 (SOM)

• 구조: 입력층과 2차원 격자 형태의 경쟁층(은닉층 없음), 두 층이 완전 연결.
• 경쟁 학습: 입력과 가장 가까운 뉴런 하나가 승자(BMU, Best Matching Unit) 가 되고(승자 독점), 승자와 그 이웃 뉴런의 가중치를 입력 쪽으로 갱신.
• 역전파를 쓰지 않고 한 번의 전방 패스(순전파)만 사용해 빠르다.
• 입력 변수의 위치 관계(위상)를 그대로 보존하므로 시각적으로 이해하기 쉽다.

6. 군집 평가

• 실루엣 계수(Silhouette): 각 개체가 자기 군집과 얼마나 가깝고 다른 군집과 얼마나 먼지를 나타냄. -1부터 1, 1에 가까울수록 잘 군집됨, 0 근처면 경계에 있고, 음수면 잘못 배정된 것.
• Dunn Index: 군집 간 최소 거리 ÷ 군집 내 최대 거리 — 클수록 좋음.

PART 2 · 연관분석

7. 연관분석이란

• 장점: 결과가 If-Then 형태로 분명하고 이해하기 쉬움, 특정 목적 변수가 없는 비목적성 분석, 계산이 단순.
• 단점: 품목 수가 늘면 계산량이 기하급수적으로 증가, 거래가 드문 품목은 규칙에서 빠지기 쉬움, 너무 세분화된 품목은 의미 있는 규칙을 찾기 어려움.
• 순차 패턴(Sequential pattern): 연관분석에 시간 순서를 더해 "A를 산 뒤 일정 기간 안에 B를 산다"를 찾음.

8. 연관규칙의 측도

규칙 A → B 에 대해:

향상도 해석:

• 향상도 > 1 → 양의 상관(서로 보완재, 의미 있는 규칙)
• 향상도 = 1 → 독립(서로 관계없음)
• 향상도 < 1 → 음의 상관(대체재)

9. 연관분석 알고리즘

Apriori 알고리즘

• 최소 지지도 이상인 빈발 항목집합(frequent itemset)만 남기며 규칙을 찾는다.
• 핵심 원리: 빈발하지 않은 집합의 상위 집합도 빈발하지 않다 → 후보를 미리 가지치기.
• 절차: ① 최소 지지도 설정 → ② 최소 지지도를 넘는 개별 품목 찾기 → ③ 그 품목들로 2개짜리 집합 중 최소 지지도를 넘는 것 찾기 → ④ 같은 방식으로 3개, 4개… 반복 → ⑤ 빈발 항목집합에서 최소 신뢰도를 넘는 규칙 생성.
• 단점: 데이터가 크면 후보 집합이 많아지고 DB를 여러 번 스캔해 느리다.

FP-Growth 알고리즘

• Apriori의 단점을 보완. 거래를 FP-Tree 구조로 압축해 DB를 두 번만 스캔 → 후보 생성 없이 빈발 항목집합을 찾아 훨씬 빠르다.

단원 마무리

장 요약

• 거리: 유클리드(직선), 맨해튼(절댓값 합), 체비셰프(최댓값), 민코프스키(일반화), 표준화(표준편차로 나눔), 마할라노비스(상관까지 고려). 범주형은 자카드·코사인 유사도.
• 계층적 연결법: 최단(가장 가까운 점, 사슬) · 최장(가장 먼 점) · 평균 · 중심 · 와드(SSE 증가 최소). 덴드로그램을 잘라 군집 수 결정.
• K-means: K·초기 중심 설정 → 할당 → 중심 갱신 → 반복. 빠르지만 K 지정 필요, 초기값·이상값에 민감, 비볼록 군집 약함. K-medoids(PAM)로 보완.
• DBSCAN은 밀도 기반(K 불필요, 임의 모양, 노이즈 처리), 혼합 분포 군집은 EM(E: 기댓값, M: 최대화).
• SOM: 입력층 + 2차원 경쟁층, 승자(BMU) 학습, 역전파 없이 순전파, 위상 보존.
• 실루엣 계수는 -1부터 1, 1에 가까울수록 좋다.
• 연관: 지지도 P(A∩B) · 신뢰도 P(A∩B) ÷ P(A) · 향상도 P(A∩B) ÷ (P(A)P(B)), 향상도 1은 독립. Apriori(최소 지지도, 빈발 항목집합), FP-Growth(트리, 빠름).

단답형 연습

1. 변수의 표준화와 상관성을 함께 고려하는 거리는? ______________
2. 두 집합의 교집합을 합집합으로 나눈 유사도는? ______________
3. 사슬 모양 군집이 생기기 쉬운 연결법은? ______________
4. 계층적 군집의 병합 과정을 나무 모양으로 그린 그림은? ______________
5. K-means에서 적절한 K를 고르기 위해 꺾이는 지점을 찾는 방법은? ______________
6. 평균 대신 실제 대표 개체를 중심으로 쓰는 K-means의 변형은? ______________
7. 혼합 분포 군집의 모수 추정에 쓰는 알고리즘은? ______________
8. SOM에서 입력과 가장 가까운 승자 뉴런을 부르는 말은? ______________
9. A를 포함한 거래 중 B도 포함한 거래의 비율은? ______________
10. 최소 지지도를 넘는 빈발 항목집합을 단계적으로 찾는 대표 알고리즘은? ______________

책을 덮고 꺼내 보기

• 두 점 (0, 0)과 (3, 4)의 유클리드 거리는 5다.
• K-means는 이상값에 민감하다.
• SOM은 역전파 알고리즘을 쓰지 않는다.
• 향상도가 1보다 크면 두 품목은 양의 상관 관계다.

유클리드·맨해튼·체비셰프 거리의 정의는?

유클리드는 차이 제곱합의 제곱근(직선 거리), 맨해튼은 차이 절댓값의 합, 체비셰프는 차이 절댓값 중 최댓값.

모름헷갈림알고 있음

표준화 거리와 마할라노비스 거리의 차이는?

표준화 거리는 각 변수를 표준편차로 나눠 척도 차이만 없애고, 마할라노비스 거리는 표준화와 함께 변수 간 상관성까지 고려한다.

모름헷갈림알고 있음

계층적 군집의 다섯 연결법은?

최단(가장 가까운 개체), 최장(가장 먼 개체), 평균(모든 쌍 거리 평균), 중심(중심점 거리), 와드(군집 내 오차제곱합 증가량 최소).

모름헷갈림알고 있음

K-means의 절차와 대표적 한계는?

K와 초기 중심 설정 → 가까운 중심에 할당 → 평균으로 중심 갱신 → 변화가 없을 때까지 반복. K를 미리 정해야 하고, 초기값·이상값에 민감하며, 볼록하지 않은 군집을 잘 못 찾는다.

모름헷갈림알고 있음

DBSCAN의 특징은?

밀도 기반 군집으로 K를 정할 필요가 없고, 임의 모양의 군집을 찾으며, 밀도가 낮은 점을 노이즈로 처리해 이상값에 강하다.

모름헷갈림알고 있음

SOM의 구조와 학습 방식은?

입력층과 2차원 경쟁층으로 구성되고, 입력과 가장 가까운 승자 뉴런(BMU)과 이웃의 가중치를 갱신한다. 역전파 없이 순전파만 쓰며 입력의 위상을 보존한다.

모름헷갈림알고 있음

지지도·신뢰도·향상도의 식은?

지지도 P(A∩B), 신뢰도 P(A∩B) ÷ P(A), 향상도 P(A∩B) ÷ (P(A) × P(B)).

모름헷갈림알고 있음

Apriori와 FP-Growth의 차이는?

Apriori는 최소 지지도로 빈발 항목집합을 단계적으로 찾으며 DB를 여러 번 스캔해 느리고, FP-Growth는 FP-Tree로 압축해 DB를 두 번만 스캔하므로 빠르다.

모름헷갈림알고 있음

마무리 기준: 거래표 하나로 세 측도를 계산하고, K-means의 한계 네 가지를 말할 수 있으면 3과목 범위를 한 바퀴 돈 것이다. 0 · 시험 지도의 암기 코드 표로 돌아가 전체를 점검한다.

정답과 해설

확인 문제 정답

1. 맨해튼: 3 + 4 → 7, 체비셰프: max(3, 4) → 4.
2. 와드 연결법(Ward linkage).
3. 자기조직화지도(SOM).
4. 신뢰도: 40 ÷ 80 → 0.5. 향상도: (40 ÷ 200) ÷ (0.4 × 0.25) → 0.2 ÷ 0.1 → 2.
5. 두 품목은 서로 독립(관계없음)이다.
6. FP-Growth.

단답형 정답

1. 마할라노비스 거리
2. 자카드 유사도
3. 최단 연결법(단일 연결법)
4. 덴드로그램(Dendrogram)
5. 엘보 방법(Elbow method)
6. K-medoids(PAM)
7. EM 알고리즘
8. BMU(Best Matching Unit)
9. 신뢰도(Confidence)
10. Apriori 알고리즘