2편 · 데이터의 가치와 미래 · 데이터 사이언스
이번 강의에서 배울 것
- 빅데이터의 3V·4V와 빅데이터에 대한 네 가지 비유를 설명한다.
- 빅데이터가 가져온 네 가지 본질적 변화와 가치 산정이 어려운 이유를 말한다.
- 위기 요인 세 가지를 통제 방안과 짝지어 설명하고, 비식별화 기법을 예로 구분한다.
- 데이터 사이언스의 구성요소와 데이터 사이언티스트의 하드·소프트 스킬을 구분한다.
학습 경로 · 1과목 2·3장
← 1편 · 데이터의 이해 · 다음: 3편 · 분석 기획의 이해 →
범위: 교재 1과목 2장 "데이터의 가치와 미래"(빅데이터의 이해, 가치와 영향, 위기 요인과 통제 방안, 미래의 빅데이터)와 3장 "가치 창조를 위한 데이터 사이언스와 전략 인사이트".
형광펜 읽는 법: 노랑 핵심 정의·결론 · 빨강 시험에서 헷갈리는 구분·함정 · 파랑 외워야 할 순서·목록
단원 도입
| 출제 포인트 | 빈도 | 이렇게 나온다 |
|---|---|---|
| 위기 요인 3가지와 통제 방안 | ★★★ | 사례 → 위기 요인, 위기 요인 → 통제 방안 짝짓기 |
| 빅데이터가 만든 본질적 변화 4가지 | ★★★ | 변화 방향이 거꾸로 된 보기 고르기 |
| 비식별화 기법 | ★★★ | 예시 → 기법 이름 |
| 빅데이터 활용 기법 (연관규칙, 유전 알고리즘 등) | ★★ | 질문 예시 → 기법 |
| 데이터 사이언티스트 역량 (하드·소프트) | ★★ | 소프트 스킬이 아닌 것 고르기 |
| 3V / 4V, 빅데이터 비유 | ★★ | 비유와 설명 연결 |
| 가치 패러다임, 데이터 3법, 가명정보 | ★ | 순서·명칭 |
PART 1 · 빅데이터의 이해
1. 빅데이터의 정의
여러 기관이 조금씩 다르게 정의하지만 공통점은 기존 방식으로 다루기 어려운 규모·형태·속도의 데이터와, 그로부터 가치를 뽑는 기술·인력까지 포함하는 개념이라는 것이다.
| 출처 | 정의의 초점 |
|---|---|
| 가트너(Gartner) | 향상된 의사결정을 위해 비용 효율적이고 혁신적인 처리가 필요한, 대용량·고속·다양성의 정보 자산 |
| 맥킨지(McKinsey) | 기존 DB 소프트웨어로 저장·관리·분석할 수 있는 범위를 초과하는 규모 |
| IDC | 다양한 대규모 데이터에서 낮은 비용으로 가치를 추출하는 차세대 기술·아키텍처 |
| 노무라연구소 | 데이터뿐 아니라 처리·분석 기술, 인재·조직까지 포함하는 넓은 개념 |
| 더그 래니(Doug Laney) | 데이터 양·다양성·속도가 급격히 증가하는 현상 → 3V |
3V와 확장된 V
| V | 뜻 | 관점 |
|---|---|---|
| Volume (규모) | 데이터 양의 폭증 | 투자 비용 |
| Variety (다양성) | 정형 + 반정형 + 비정형 | 투자 비용 |
| Velocity (속도) | 생성·처리 속도 증가, 실시간성 | 투자 비용 |
| Value (가치) | 4번째 V, 숨은 가치·ROI | 비즈니스 효과 |
| Veracity · Validity · Volatility … | 신뢰성 · 정확성(유효성) · 휘발성 | 5V·7V 확장 |
빅데이터 출현 배경
- 인터넷·스마트폰 확산, SNS와 영상 등 비정형 데이터 폭증
- 저장 장치 가격 하락, 클라우드 컴퓨팅(분산 병렬 처리로 비용 절감 → 빅데이터에 경제성 제공)
- 하둡 등 분산 처리 기술, IoT 확산
- 양질전환 법칙: 데이터의 양적 누적이 질적 비약으로 바뀐다.
빅데이터에 거는 기대 — 네 가지 비유
| 비유 | 뜻 |
|---|---|
| 산업혁명의 석탄·철 | 산업 전반에 혁명적 변화를 가져올 원재료 |
| 21세기의 원유 | 산업 생산성을 높이고 새 범주의 산업을 만드는 에너지원 |
| 렌즈 | 현미경이 생물학을 바꿨듯 세상을 새롭게 보게 함 — 구글 Ngram Viewer |
| 플랫폼 | 공동 활용 목적의 구조물, 서드파티 비즈니스의 기반 — 페이스북의 개방 |
2. 빅데이터가 만든 본질적 변화
표본조사 → 전수조사 · 사전처리 → 사후처리 · 질 → 양 · 인과관계 → 상관관계
| 변화 | 이유 |
|---|---|
| 표본조사 → 전수조사 | 수집·저장 비용이 낮아져 전체를 다 볼 수 있게 됨 |
| 사전처리 → 사후처리 | 필요한 것만 골라 정리해 두지 않고, 일단 모은 뒤 분석 시점에 가공 |
| 질 → 양 | 데이터가 충분히 많으면 개별 오류의 영향이 줄어듦 |
| 인과관계 → 상관관계 | "왜"를 몰라도 "함께 움직인다"는 사실로 예측·의사결정 |
3. 빅데이터의 가치와 영향
가치 산정이 어려운 이유
- 데이터 활용 방식의 다양화 — 재사용·재조합으로 특정 데이터를 언제, 어디서, 누가 쓸지 알 수 없다.
- 새로운 가치 창출 — 기존에 없던 서비스가 생겨 가치를 미리 매길 수 없다.
- 분석 기술의 발전 — 지금은 쓸모없는 데이터도 새 기술로 가치를 가질 수 있다.
빅데이터 활용 3요소
데이터 · 기술 · 인력 ("데기인")
- 데이터: 모든 것의 데이터화(Datafication)
- 기술: 진화하는 분석·처리 기술, AI
- 인력: 데이터 사이언티스트, 알고리즈미스트
빅데이터 활용 기본 테크닉
| 기법 | 이런 질문에 쓴다 |
|---|---|
| 연관규칙 학습 | 맥주를 사는 사람이 기저귀도 더 사는가? |
| 유형분석(분류) | 이 고객은 어떤 특성의 집단에 속하는가? 이 메일은 스팸인가? |
| 유전 알고리즘 | 최대 시청률을 얻으려면 어떤 프로그램을 어느 시간대에 편성할까? 택배 차량 배치 최적화? — 최적화 문제 |
| 기계학습 | 시청 기록으로 다음에 볼 영화를 추천 |
| 회귀분석 | 구매자의 나이가 구매 차량 타입에 어떤 영향을 주는가? |
| 감정분석 | 리뷰 문장이 긍정인가 부정인가? |
| 소셜 네트워크 분석 | SNS에서 영향력이 큰 사람은 누구인가? |
PART 2 · 위기 요인과 통제 방안
4. 빅데이터 시대의 위기 요인
| 위기 요인 | 예 | 통제 방안 |
|---|---|---|
| 사생활 침해 | SNS에 올린 여행 사진으로 빈집이 노출됨 | 개인정보 제공자의 동의제 → 사용자 책임제 |
| 책임 원칙 훼손 | 범죄 예측 모델로 범행 전에 체포, 신용과 무관한 대출 거절 | 결과 기반 책임 원칙 고수 — 실제 행동한 결과에만 책임 |
| 데이터 오용 | 분석 결과를 맹신해 잘못된 결정 | 알고리즘 접근 허용, 알고리즈미스트가 피해자 구제·해석 |
5. 개인정보 보호 · 비식별화
데이터 3법
개인정보보호법 · 정보통신망법 · 신용정보법 ("개정신") — 핵심은 가명정보 개념 도입. 가명정보는 통계 작성, 과학적 연구, 공익적 기록 보존 목적이면 동의 없이 활용 가능하다.
| 구분 | 뜻 | 활용 | 예 (홍길동, 33세) |
|---|---|---|---|
| 개인정보 | 특정 개인을 알아볼 수 있음 | 동의 필요 | 홍길동, 33세 |
| 가명정보 | 추가 정보 없이는 특정 불가 | 통계·연구·공익 기록 목적 시 동의 없이 | 홍OO, 30대 초반 |
| 익명정보 | 더 이상 개인을 알아볼 수 없음 | 제한 없이 자유롭게 | OOO, 30대 |
비식별화 기법
| 기법 | 방법 | 예 |
|---|---|---|
| 가명처리 | 다른 값으로 대체 | 홍길동 → 임꺽정 |
| 총계처리 | 개별 값 대신 합계·평균 | 세 사람의 키 → 평균 키 172cm |
| 데이터 삭제 | 식별 항목을 지우거나 일부만 남김 | 주민번호 → 90년대생 남성 |
| 데이터 범주화 | 구간·범주로 바꿈 | 35세 → 30대 |
| 데이터 마스킹 | 일부를 기호로 가림 | 홍길동 → 홍** |
프라이버시 보호 모델
- k-익명성: 같은 속성 값을 가진 레코드가 최소 k개 이상 → 다른 정보와 결합해 한 명을 특정하기 어렵게.
- l-다양성: 같은 그룹 안의 민감 정보가 l가지 이상 다양하도록 → 동질성 공격 방어.
- t-근접성: 그룹 내 민감 정보 분포가 전체 분포와 t 이하로 가깝도록 → 쏠림 추론 방어.
6. 미래의 빅데이터
- 데이터 산업의 진화: 처리 → 통합 → 분석 → 연결 → 권리 (프로그래밍 처리 → DBMS 통합 → 빅데이터 분석 → API 연결 → 마이데이터 권리 행사)
- 마이데이터(MyData): 개인이 자기 정보를 원하는 제3자에게 제공하도록 결정하는 정보 주권 제도.
- 가치 패러다임의 변화: Digitalization → Connection → Agency
- Digitalization: 아날로그를 디지털로
- Connection: 디지털화된 정보와 대상을 연결
- Agency: 복잡한 연결을 효과적·효율적으로 관리
PART 3 · 데이터 사이언스와 전략 인사이트
7. 빅데이터 분석과 전략 인사이트
- 빅데이터 관련 걸림돌은 "비용"이 아니라 분석적 방법과 성과에 대한 이해 부족이다.
- 핵심은 데이터의 양이 아니라 데이터에서 뽑아내는 가치다.
- 단순히 분석을 많이 한다고 경쟁 우위가 생기지 않는다. 전략적 인사이트를 갖고 핵심 비즈니스에 집중해야 한다.
일차원적 분석 vs 가치 기반 분석
| 구분 | 일차원적 분석 | 전략 도출 가치 기반 분석 |
|---|---|---|
| 범위 | 부서·업무 단위의 내부 문제 | 사업 전체, 경쟁 환경, 트렌드 |
| 효과 | 해당 부서에서 상당한 효과, 그러나 환경 변화 대응 어려움 | 새로운 기회 발굴, 경영진의 지원 확보 |
| 예 | 콜센터 인력 관리(서비스), 웹 매트릭스(온라인), 성과 관리 | 사업 성과를 좌우하는 요소를 찾아 차별화 |
집중과 선택 vs 넓은 시야: 조직이 분석을 배우는 단계거나 특정 문제를 풀 때는 집중과 선택, 사업 전체 상황을 볼 때는 업계 바깥까지 보는 넓은 시야가 필요하다.
8. 데이터 사이언스
구성요소 Analytics · IT(Data Management) · 비즈니스 분석
| 영역 | 내용 |
|---|---|
| Analytics (분석적 영역) | 수학, 확률 모델, 머신러닝, 분석학, 패턴 인식 — 이론적 지식 |
| IT (데이터 관리) | 프로그래밍, 데이터 엔지니어링, 고성능 컴퓨팅, DW — 프로그래밍 지식 |
| 비즈니스 분석 | 커뮤니케이션, 시각화, 프레젠테이션, 스토리텔링 — 비즈니스 능력 |
9. 데이터 사이언티스트의 역량
| 구분 | 하드 스킬(Hard Skill) | 소프트 스킬(Soft Skill) |
|---|---|---|
| 내용 | 빅데이터 이론 지식, 분석 기술 숙련(머신러닝, 모델링, 통계, 프로그래밍) | 통찰력 있는 분석(창의적 사고, 호기심, 논리적 비판), 설득력 있는 전달(스토리텔링, 시각화), 다분야 간 협력(커뮤니케이션) |
| 성격 | 이과적·기술적 | 인문학적 |
- 가트너가 제시한 데이터 사이언티스트 역량: 데이터 관리, 분석 모델링, 비즈니스 분석, 소프트 스킬 — 하드 스킬은 포함되지 않는다.
- 많은 전문가가 공통으로 꼽는 자질은 호기심이다.
왜 인문학적 사고가 중요해졌나?
- 단순 세계 → 복잡한 세계(다양성·연결성·창조성)로의 변화 — 컨버전스에서 디버전스로
- 비즈니스 중심이 제품 생산 → 서비스로 이동
- 경제·산업 논리가 생산 → 시장 창조(무형 자산)로 이동
효과적인 분석 모델을 위한 태도
- 모델이 예측하지 못하는 위험을 끊임없이 고려한다.
- 모델의 능력에 의구심을 갖고 가정과 현실의 불일치를 고찰한다.
- 모델 범위 밖의 요인은 판단하지 않는다 — 모델의 한계를 인정한다.
- 정량 분석(과학) + 인문학적 통찰(합리적 추론)을 결합한다.
단원 마무리
장 요약
- 3V는 Volume · Variety · Velocity, 4번째 V는 Value.
- 비유: 석탄·철, 원유, 렌즈(Ngram Viewer), 플랫폼(페이스북).
- 변화: 표본→전수, 사전→사후, 질→양, 인과→상관.
- 활용 3요소: 데이터·기술·인력. 가치 산정이 어려운 이유: 활용 방식 다양화, 새 가치 창출, 분석 기술 발전.
- 위기 요인 ↔ 통제: 사생활 침해 ↔ 사용자 책임제 · 책임 원칙 훼손 ↔ 결과 기반 책임 · 데이터 오용 ↔ 알고리즈미스트.
- 데이터 사이언스: Analytics + IT + 비즈니스 분석. 소프트 스킬은 통찰력·전달력·협력.
단답형 연습
- 빅데이터의 3V를 쓰시오. ______________
- 구글 Ngram Viewer는 빅데이터의 어떤 비유에 해당하는가? ______________
- 데이터의 양적 누적이 질적 비약을 만든다는 법칙은? ______________
- 알고리즘으로 부당한 피해를 입은 사람을 구제하는 전문가는? ______________
- "홍길동 → 홍**"은 어떤 비식별화 기법인가? ______________
- 통계·연구 목적이면 동의 없이 쓸 수 있도록 데이터 3법이 도입한 정보 개념은? ______________
- 같은 값을 가진 레코드가 최소 k개 이상이 되게 하는 프라이버시 모델은? ______________
- 가치 패러다임의 마지막 단계는? ______________
- 개인이 자기 정보의 제공처를 결정하는 정보 주권 제도는? ______________
- 최적화 문제를 진화 메커니즘으로 푸는 빅데이터 활용 기법은? ______________
책을 덮고 꺼내 보기
- 빅데이터에 경제성을 제공한 기술은 이다.
- 책임 원칙 훼손의 통제 방안은 이다.
- 35세를 30대로 바꾸는 기법은 다.
- 가트너의 데이터 사이언티스트 역량에 빠진 것은 이다.
빅데이터가 만든 네 가지 본질적 변화는?
표본조사 → 전수조사, 사전처리 → 사후처리, 질 → 양, 인과관계 → 상관관계.
빅데이터 위기 요인 세 가지와 각 통제 방안은?
사생활 침해 → 동의제에서 사용자 책임제로. 책임 원칙 훼손 → 결과 기반 책임 원칙. 데이터 오용 → 알고리즘 접근 허용과 알고리즈미스트.
빅데이터 가치 산정이 어려운 세 가지 이유는?
데이터 활용 방식의 다양화(재사용·재조합), 새로운 가치 창출, 분석 기술의 발전으로 지금 쓸모없는 데이터도 가치가 생길 수 있음.
개인정보·가명정보·익명정보의 활용 조건 차이는?
개인정보는 동의 필요, 가명정보는 통계·연구·공익 기록 목적이면 동의 없이 활용, 익명정보는 제한 없이 활용.
비식별화 기법 다섯 가지는?
가명처리, 총계처리, 데이터 삭제, 데이터 범주화, 데이터 마스킹.
빅데이터의 네 가지 비유와 사례는?
산업혁명의 석탄·철, 21세기의 원유, 렌즈(구글 Ngram Viewer), 플랫폼(페이스북).
데이터 사이언티스트의 소프트 스킬 세 묶음은?
통찰력 있는 분석(창의적 사고·호기심·논리적 비판), 설득력 있는 전달(스토리텔링·시각화), 다분야 간 협력(커뮤니케이션).
싸이월드 사례가 보여 주는 교훈은?
분석 인프라(OLAP 등)가 있어도 분석을 의사결정과 전략 인사이트로 연결하지 못하면 경쟁에서 밀린다.
다음으로 갈 기준: 위기 요인 세 개를 통제 방안과 짝지어 말하고, 비식별화 예시 다섯 개를 기법 이름으로 바꿀 수 있으면 2과목으로 넘어간다: 3편 · 분석 기획의 이해.
정답과 해설
확인 문제 정답
- 책임 원칙 훼손. 통제 방안은 실제로 나타난 결과에 대해서만 책임을 묻는 결과 기반 책임 원칙의 고수.
- 데이터 범주화.
- 표본조사 → 전수조사, 사전처리 → 사후처리, 질 → 양, 인과관계 → 상관관계.
- Analytics(분석적 영역), IT(데이터 관리), 비즈니스 분석.
- 하드 스킬.
- 부서 단위를 넘어 사업 전체와 트렌드를 보므로 새로운 기회를 발굴하고 경영진의 지원을 얻을 수 있다.
단답형 정답
- Volume, Variety, Velocity
- 렌즈
- 양질전환 법칙
- 알고리즈미스트(Algorithmist)
- 데이터 마스킹
- 가명정보
- k-익명성
- Agency
- 마이데이터(MyData)
- 유전 알고리즘
내용을 이해했다면 학습 완료를 체크해 주세요.