5편 · R 기초, 데이터 마트, 결측값과 이상값

학습 경로 · 3과목 1장

← 4편 · 분석 마스터플랜 · 다음: 6편 · 통계의 이해 →

범위: 교재 3과목 1장 — 01 R 기초(설치·기본 사용법, 기본 문법), 02 데이터 마트, 03 데이터 탐색(EDA, 결측값, 이상값).

형광펜 읽는 법: 노랑 핵심 정의·결론 · 빨강 시험에서 헷갈리는 구분·함정 · 파랑 외워야 할 순서·목록

단원 도입

PART 1 · R 기초

1. R의 특징

• 오픈소스 통계 프로그래밍 언어. S 언어 기반(GNU S라고도 함).
• 수많은 패키지가 수시로 업데이트되고 커뮤니티가 활발하다. 다만 문제가 생겨도 상용 소프트웨어처럼 즉각적인 유지보수가 보장되지는 않는다.
• 인메모리 컴퓨팅: 데이터를 메모리에 올려 처리 → 대용량은 메모리 한계에 주의.
• 그래픽·시각화 기능이 강력하고, 객체 지향·함수형 언어 특성을 가진다.
• 패키지 설치와 로드: install.packages("패키지명") → library(패키지명)
• 도움말: help(함수) 또는 ?함수, 할당은 <- (또는 =), 주석은 #.

2. 자료형과 연산자

3. 자료 구조

벡터의 세 가지 규칙

① 형 변환(coercion): 한 벡터에 여러 형이 섞이면 문자형 > 숫자형 > 논리형 순으로 더 넓은 쪽으로 통일된다.

> c(3, TRUE, FALSE)
[1] 3 1 0                 # 논리형 → 숫자형
> c('a', 1, TRUE)
[1] "a" "1" "TRUE"        # 하나라도 문자면 모두 문자형
> c(1:5)
[1] 1 2 3 4 5

② 재활용(recycling): 길이가 다른 벡터끼리 연산하면 짧은 벡터를 반복해서 길이를 맞춘다. 긴 길이가 짧은 길이의 배수가 아니면 경고와 함께 계산은 된다.

> c(1, 2) + c(10, 20, 30, 40)
[1] 11 22 31 42
> c(1, 2) + c(10, 20, 30)
[1] 11 22 31
Warning message: longer object length is not a multiple of shorter object length

③ 인덱싱: R의 인덱스는 1부터 시작한다. 음수 인덱스는 "그 원소를 제외"한다.

> x <- c(10, 20, 30, 40, 50)
> x[2]          # [1] 20
> x[-2]         # [1] 10 30 40 50
> x[c(1, 3)]    # [1] 10 30
> x[x > 25]     # [1] 30 40 50

행렬은 열 방향으로 채운다

> m <- matrix(1:6, nrow = 2)
> m
     [,1] [,2] [,3]
[1,]    1    3    5
[2,]    2    4    6
> as.vector(m)
[1] 1 2 3 4 5 6           # 열 방향으로 펼침
> matrix(1:6, nrow = 2, byrow = TRUE)   # 행 방향으로 채우려면 byrow

• cbind()는 열로 붙이고, rbind()는 행으로 붙인다.
• dim(m) → 2 3, t(m) → 전치 행렬, m %*% n → 행렬 곱.

4. 자주 나오는 내장 함수

PART 2 · 데이터 마트

5. 데이터 마트와 변수 만들기

• 데이터 마트(Data Mart): DW에서 특정 목적·부서용으로 떼어 낸 소규모 DW. 분석에서는 모델링에 바로 쓸 수 있게 정리한 분석용 데이터셋을 뜻한다. CRM 업무의 핵심이다.

6. 데이터 마트 개발에 쓰는 R 패키지

PART 3 · 데이터 탐색

7. 탐색적 자료 분석 (EDA)

EDA의 4가지 주제: 저항성의 강조 · 잔차 계산 · 자료 변수의 재표현 · 그래프를 통한 현시성 ("저잔재현")

8. 결측값 처리

결측값(Missing value): 값이 존재하지 않음. R에서 NA로 표시. 반드시 삭제하는 것이 아니라 상황에 따라 처리 방식을 고른다.

R 함수: is.na(), complete.cases()(결측 없는 행 TRUE), na.omit()(결측 행 삭제), 다중 대치 패키지 Amelia, mice.

9. 이상값 처리

이상값(Outlier): 다른 관측값과 동떨어진 극단적인 값. 항상 제거하는 것은 아니다 — 입력 오류면 삭제하지만, 사기 탐지·의료·부정 사용 탐지에서는 이상값 자체가 분석 대상이다.

처리 방법: 삭제, 대체(평균·중앙값), 극단값 절단(trimming), 경계값으로 바꾸는 조정(winsorizing) 등.

상자그림(Boxplot) 읽기

단원 마무리

장 요약

• R: 오픈소스, S 언어 기반, 인덱스는 1부터, 행렬은 열 방향으로 채움.
• 벡터 규칙: 형 변환(문자 > 숫자 > 논리) · 재활용 · 음수 인덱스는 제외.
• 데이터 프레임은 열마다 다른 형, 리스트는 원소마다 다른 형·구조.
• 요약변수(집계, 재활용성↑) vs 파생변수(의미 부여, 논리적 타당성 필요).
• EDA 4주제: 저항성 · 잔차 · 재표현 · 현시성.
• 결측값: 완전 분석 · 평균 대치(비조건부) · 회귀 대치(조건부) · 단순 확률 대치(Hot-deck 등) · 다중 대치(대치 → 분석 → 결합).
• 이상값: ESD(평균 ± 3σ), IQR(Q1 - 1.5IQR, Q3 + 1.5IQR). 상자그림에는 평균이 없다.

단답형 연습

1. R이 기반한 통계 언어는? ______________
2. 길이가 다른 벡터 연산에서 짧은 벡터를 반복하는 규칙은? ______________
3. 열마다 다른 자료형을 가질 수 있는 2차원 구조는? ______________
4. 결측값을 제외하고 계산하게 하는 인자는? ______________
5. 의미를 부여해 만든 변수로, 논리적 타당성이 필요한 것은? ______________
6. R에서 SQL 문으로 데이터 프레임을 다루게 하는 패키지는? ______________
7. 데이터를 식별자·변수·값의 긴 형태로 바꾸는 reshape 함수는? ______________
8. 같은 데이터셋에서 비슷한 응답자의 값으로 결측을 채우는 방법은? ______________
9. 평균에서 표준편차 3배를 벗어나면 이상값으로 보는 방법은? ______________
10. Q3 - Q1을 무엇이라 하는가? ______________

책을 덮고 꺼내 보기

• c(2, TRUE)의 결과는 2 1이다.
• matrix(1:4, nrow = 2)를 as.vector로 펼치면 1 2 3 4이다.
• 결측 행을 지우는 처리 방법은 완전 분석법이다.
• 상자그림에 표시되지 않는 통계량은 평균이다.

다음으로 갈 기준: 벡터 코드 세 줄을 보고 출력을 맞히고, IQR 경계를 계산할 수 있으면 통계로 넘어간다: 6편 · 통계의 이해.

정답과 해설

확인 문제 정답

1. 문자형(character) — "1" "2" "TRUE".
2. 11 22 33 41 52 63 — 짧은 벡터 1 2 3이 두 번 재활용된다(6은 3의 배수라 경고 없음).
3. 6 7 — 첫째와 넷째 원소를 제외.
4. 저항성의 강조, 잔차 계산, 자료 변수의 재표현, 그래프를 통한 현시성.
5. 다중 대치법. 대치 → 분석 → 결합.
6. IQR은 20이므로 70 + 1.5 × 20 → 100.

단답형 정답

1. S 언어
2. 재활용 규칙(Recycling rule)
3. 데이터 프레임(data frame)
4. na.rm = TRUE
5. 파생변수
6. sqldf
7. melt()
8. Hot-deck 대치
9. ESD(Extreme Studentized Deviation)
10. IQR(사분위수 범위)