1학년 / 1학기 / ADsP · 데이터분석 준전문가 / 2강

2편 · 데이터의 가치와 미래 · 데이터 사이언스

이번 강의에서 배울 것

  • 빅데이터의 3V·4V와 빅데이터에 대한 네 가지 비유를 설명한다.
  • 빅데이터가 가져온 네 가지 본질적 변화와 가치 산정이 어려운 이유를 말한다.
  • 위기 요인 세 가지를 통제 방안과 짝지어 설명하고, 비식별화 기법을 예로 구분한다.
  • 데이터 사이언스의 구성요소와 데이터 사이언티스트의 하드·소프트 스킬을 구분한다.

학습 경로 · 1과목 2·3장

← 1편 · 데이터의 이해 · 다음: 3편 · 분석 기획의 이해 →

범위: 교재 1과목 2장 "데이터의 가치와 미래"(빅데이터의 이해, 가치와 영향, 위기 요인과 통제 방안, 미래의 빅데이터)와 3장 "가치 창조를 위한 데이터 사이언스와 전략 인사이트".

형광펜 읽는 법: 노랑 핵심 정의·결론 · 빨강 시험에서 헷갈리는 구분·함정 · 파랑 외워야 할 순서·목록


단원 도입

출제 포인트빈도이렇게 나온다
위기 요인 3가지와 통제 방안★★★사례 → 위기 요인, 위기 요인 → 통제 방안 짝짓기
빅데이터가 만든 본질적 변화 4가지★★★변화 방향이 거꾸로 된 보기 고르기
비식별화 기법★★★예시 → 기법 이름
빅데이터 활용 기법 (연관규칙, 유전 알고리즘 등)★★질문 예시 → 기법
데이터 사이언티스트 역량 (하드·소프트)★★소프트 스킬이 아닌 것 고르기
3V / 4V, 빅데이터 비유★★비유와 설명 연결
가치 패러다임, 데이터 3법, 가명정보★순서·명칭

PART 1 · 빅데이터의 이해

1. 빅데이터의 정의

여러 기관이 조금씩 다르게 정의하지만 공통점은 기존 방식으로 다루기 어려운 규모·형태·속도의 데이터와, 그로부터 가치를 뽑는 기술·인력까지 포함하는 개념이라는 것이다.

출처정의의 초점
가트너(Gartner)향상된 의사결정을 위해 비용 효율적이고 혁신적인 처리가 필요한, 대용량·고속·다양성의 정보 자산
맥킨지(McKinsey)기존 DB 소프트웨어로 저장·관리·분석할 수 있는 범위를 초과하는 규모
IDC다양한 대규모 데이터에서 낮은 비용으로 가치를 추출하는 차세대 기술·아키텍처
노무라연구소데이터뿐 아니라 처리·분석 기술, 인재·조직까지 포함하는 넓은 개념
더그 래니(Doug Laney)데이터 양·다양성·속도가 급격히 증가하는 현상 → 3V

3V와 확장된 V

V뜻관점
Volume (규모)데이터 양의 폭증투자 비용
Variety (다양성)정형 + 반정형 + 비정형투자 비용
Velocity (속도)생성·처리 속도 증가, 실시간성투자 비용
Value (가치)4번째 V, 숨은 가치·ROI비즈니스 효과
Veracity · Validity · Volatility …신뢰성 · 정확성(유효성) · 휘발성5V·7V 확장

빅데이터 출현 배경

  • 인터넷·스마트폰 확산, SNS와 영상 등 비정형 데이터 폭증
  • 저장 장치 가격 하락, 클라우드 컴퓨팅(분산 병렬 처리로 비용 절감 → 빅데이터에 경제성 제공)
  • 하둡 등 분산 처리 기술, IoT 확산
  • 양질전환 법칙: 데이터의 양적 누적이 질적 비약으로 바뀐다.

빅데이터에 거는 기대 — 네 가지 비유

비유뜻
산업혁명의 석탄·철산업 전반에 혁명적 변화를 가져올 원재료
21세기의 원유산업 생산성을 높이고 새 범주의 산업을 만드는 에너지원
렌즈현미경이 생물학을 바꿨듯 세상을 새롭게 보게 함 — 구글 Ngram Viewer
플랫폼공동 활용 목적의 구조물, 서드파티 비즈니스의 기반 — 페이스북의 개방

2. 빅데이터가 만든 본질적 변화

표본조사 → 전수조사 · 사전처리 → 사후처리 · 질 → 양 · 인과관계 → 상관관계

변화이유
표본조사 → 전수조사수집·저장 비용이 낮아져 전체를 다 볼 수 있게 됨
사전처리 → 사후처리필요한 것만 골라 정리해 두지 않고, 일단 모은 뒤 분석 시점에 가공
질 → 양데이터가 충분히 많으면 개별 오류의 영향이 줄어듦
인과관계 → 상관관계"왜"를 몰라도 "함께 움직인다"는 사실로 예측·의사결정

3. 빅데이터의 가치와 영향

가치 산정이 어려운 이유

  1. 데이터 활용 방식의 다양화 — 재사용·재조합으로 특정 데이터를 언제, 어디서, 누가 쓸지 알 수 없다.
  2. 새로운 가치 창출 — 기존에 없던 서비스가 생겨 가치를 미리 매길 수 없다.
  3. 분석 기술의 발전 — 지금은 쓸모없는 데이터도 새 기술로 가치를 가질 수 있다.

빅데이터 활용 3요소

데이터 · 기술 · 인력 ("데기인")

  • 데이터: 모든 것의 데이터화(Datafication)
  • 기술: 진화하는 분석·처리 기술, AI
  • 인력: 데이터 사이언티스트, 알고리즈미스트

빅데이터 활용 기본 테크닉

기법이런 질문에 쓴다
연관규칙 학습맥주를 사는 사람이 기저귀도 더 사는가?
유형분석(분류)이 고객은 어떤 특성의 집단에 속하는가? 이 메일은 스팸인가?
유전 알고리즘최대 시청률을 얻으려면 어떤 프로그램을 어느 시간대에 편성할까? 택배 차량 배치 최적화? — 최적화 문제
기계학습시청 기록으로 다음에 볼 영화를 추천
회귀분석구매자의 나이가 구매 차량 타입에 어떤 영향을 주는가?
감정분석리뷰 문장이 긍정인가 부정인가?
소셜 네트워크 분석SNS에서 영향력이 큰 사람은 누구인가?

PART 2 · 위기 요인과 통제 방안

4. 빅데이터 시대의 위기 요인

위기 요인예통제 방안
사생활 침해SNS에 올린 여행 사진으로 빈집이 노출됨개인정보 제공자의 동의제 → 사용자 책임제
책임 원칙 훼손범죄 예측 모델로 범행 전에 체포, 신용과 무관한 대출 거절결과 기반 책임 원칙 고수 — 실제 행동한 결과에만 책임
데이터 오용분석 결과를 맹신해 잘못된 결정알고리즘 접근 허용, 알고리즈미스트가 피해자 구제·해석

5. 개인정보 보호 · 비식별화

데이터 3법

개인정보보호법 · 정보통신망법 · 신용정보법 ("개정신") — 핵심은 가명정보 개념 도입. 가명정보는 통계 작성, 과학적 연구, 공익적 기록 보존 목적이면 동의 없이 활용 가능하다.

구분뜻활용예 (홍길동, 33세)
개인정보특정 개인을 알아볼 수 있음동의 필요홍길동, 33세
가명정보추가 정보 없이는 특정 불가통계·연구·공익 기록 목적 시 동의 없이홍OO, 30대 초반
익명정보더 이상 개인을 알아볼 수 없음제한 없이 자유롭게OOO, 30대

비식별화 기법

기법방법예
가명처리다른 값으로 대체홍길동 → 임꺽정
총계처리개별 값 대신 합계·평균세 사람의 키 → 평균 키 172cm
데이터 삭제식별 항목을 지우거나 일부만 남김주민번호 → 90년대생 남성
데이터 범주화구간·범주로 바꿈35세 → 30대
데이터 마스킹일부를 기호로 가림홍길동 → 홍**

프라이버시 보호 모델

  • k-익명성: 같은 속성 값을 가진 레코드가 최소 k개 이상 → 다른 정보와 결합해 한 명을 특정하기 어렵게.
  • l-다양성: 같은 그룹 안의 민감 정보가 l가지 이상 다양하도록 → 동질성 공격 방어.
  • t-근접성: 그룹 내 민감 정보 분포가 전체 분포와 t 이하로 가깝도록 → 쏠림 추론 방어.

6. 미래의 빅데이터

  • 데이터 산업의 진화: 처리 → 통합 → 분석 → 연결 → 권리 (프로그래밍 처리 → DBMS 통합 → 빅데이터 분석 → API 연결 → 마이데이터 권리 행사)
  • 마이데이터(MyData): 개인이 자기 정보를 원하는 제3자에게 제공하도록 결정하는 정보 주권 제도.
  • 가치 패러다임의 변화: Digitalization → Connection → Agency
    • Digitalization: 아날로그를 디지털로
    • Connection: 디지털화된 정보와 대상을 연결
    • Agency: 복잡한 연결을 효과적·효율적으로 관리

PART 3 · 데이터 사이언스와 전략 인사이트

7. 빅데이터 분석과 전략 인사이트

  • 빅데이터 관련 걸림돌은 "비용"이 아니라 분석적 방법과 성과에 대한 이해 부족이다.
  • 핵심은 데이터의 양이 아니라 데이터에서 뽑아내는 가치다.
  • 단순히 분석을 많이 한다고 경쟁 우위가 생기지 않는다. 전략적 인사이트를 갖고 핵심 비즈니스에 집중해야 한다.

일차원적 분석 vs 가치 기반 분석

구분일차원적 분석전략 도출 가치 기반 분석
범위부서·업무 단위의 내부 문제사업 전체, 경쟁 환경, 트렌드
효과해당 부서에서 상당한 효과, 그러나 환경 변화 대응 어려움새로운 기회 발굴, 경영진의 지원 확보
예콜센터 인력 관리(서비스), 웹 매트릭스(온라인), 성과 관리사업 성과를 좌우하는 요소를 찾아 차별화

집중과 선택 vs 넓은 시야: 조직이 분석을 배우는 단계거나 특정 문제를 풀 때는 집중과 선택, 사업 전체 상황을 볼 때는 업계 바깥까지 보는 넓은 시야가 필요하다.

8. 데이터 사이언스

구성요소 Analytics · IT(Data Management) · 비즈니스 분석

영역내용
Analytics (분석적 영역)수학, 확률 모델, 머신러닝, 분석학, 패턴 인식 — 이론적 지식
IT (데이터 관리)프로그래밍, 데이터 엔지니어링, 고성능 컴퓨팅, DW — 프로그래밍 지식
비즈니스 분석커뮤니케이션, 시각화, 프레젠테이션, 스토리텔링 — 비즈니스 능력

9. 데이터 사이언티스트의 역량

구분하드 스킬(Hard Skill)소프트 스킬(Soft Skill)
내용빅데이터 이론 지식, 분석 기술 숙련(머신러닝, 모델링, 통계, 프로그래밍)통찰력 있는 분석(창의적 사고, 호기심, 논리적 비판), 설득력 있는 전달(스토리텔링, 시각화), 다분야 간 협력(커뮤니케이션)
성격이과적·기술적인문학적
  • 가트너가 제시한 데이터 사이언티스트 역량: 데이터 관리, 분석 모델링, 비즈니스 분석, 소프트 스킬 — 하드 스킬은 포함되지 않는다.
  • 많은 전문가가 공통으로 꼽는 자질은 호기심이다.

왜 인문학적 사고가 중요해졌나?

  • 단순 세계 → 복잡한 세계(다양성·연결성·창조성)로의 변화 — 컨버전스에서 디버전스로
  • 비즈니스 중심이 제품 생산 → 서비스로 이동
  • 경제·산업 논리가 생산 → 시장 창조(무형 자산)로 이동

효과적인 분석 모델을 위한 태도

  • 모델이 예측하지 못하는 위험을 끊임없이 고려한다.
  • 모델의 능력에 의구심을 갖고 가정과 현실의 불일치를 고찰한다.
  • 모델 범위 밖의 요인은 판단하지 않는다 — 모델의 한계를 인정한다.
  • 정량 분석(과학) + 인문학적 통찰(합리적 추론)을 결합한다.

단원 마무리

장 요약

  • 3V는 Volume · Variety · Velocity, 4번째 V는 Value.
  • 비유: 석탄·철, 원유, 렌즈(Ngram Viewer), 플랫폼(페이스북).
  • 변화: 표본→전수, 사전→사후, 질→양, 인과→상관.
  • 활용 3요소: 데이터·기술·인력. 가치 산정이 어려운 이유: 활용 방식 다양화, 새 가치 창출, 분석 기술 발전.
  • 위기 요인 ↔ 통제: 사생활 침해 ↔ 사용자 책임제 · 책임 원칙 훼손 ↔ 결과 기반 책임 · 데이터 오용 ↔ 알고리즈미스트.
  • 데이터 사이언스: Analytics + IT + 비즈니스 분석. 소프트 스킬은 통찰력·전달력·협력.

단답형 연습

  1. 빅데이터의 3V를 쓰시오. ______________
  2. 구글 Ngram Viewer는 빅데이터의 어떤 비유에 해당하는가? ______________
  3. 데이터의 양적 누적이 질적 비약을 만든다는 법칙은? ______________
  4. 알고리즘으로 부당한 피해를 입은 사람을 구제하는 전문가는? ______________
  5. "홍길동 → 홍**"은 어떤 비식별화 기법인가? ______________
  6. 통계·연구 목적이면 동의 없이 쓸 수 있도록 데이터 3법이 도입한 정보 개념은? ______________
  7. 같은 값을 가진 레코드가 최소 k개 이상이 되게 하는 프라이버시 모델은? ______________
  8. 가치 패러다임의 마지막 단계는? ______________
  9. 개인이 자기 정보의 제공처를 결정하는 정보 주권 제도는? ______________
  10. 최적화 문제를 진화 메커니즘으로 푸는 빅데이터 활용 기법은? ______________

책을 덮고 꺼내 보기

  • 빅데이터에 경제성을 제공한 기술은 이다.
  • 책임 원칙 훼손의 통제 방안은 이다.
  • 35세를 30대로 바꾸는 기법은 다.
  • 가트너의 데이터 사이언티스트 역량에 빠진 것은 이다.
빅데이터가 만든 네 가지 본질적 변화는?

표본조사 → 전수조사, 사전처리 → 사후처리, 질 → 양, 인과관계 → 상관관계.

빅데이터 위기 요인 세 가지와 각 통제 방안은?

사생활 침해 → 동의제에서 사용자 책임제로. 책임 원칙 훼손 → 결과 기반 책임 원칙. 데이터 오용 → 알고리즘 접근 허용과 알고리즈미스트.

빅데이터 가치 산정이 어려운 세 가지 이유는?

데이터 활용 방식의 다양화(재사용·재조합), 새로운 가치 창출, 분석 기술의 발전으로 지금 쓸모없는 데이터도 가치가 생길 수 있음.

개인정보·가명정보·익명정보의 활용 조건 차이는?

개인정보는 동의 필요, 가명정보는 통계·연구·공익 기록 목적이면 동의 없이 활용, 익명정보는 제한 없이 활용.

비식별화 기법 다섯 가지는?

가명처리, 총계처리, 데이터 삭제, 데이터 범주화, 데이터 마스킹.

빅데이터의 네 가지 비유와 사례는?

산업혁명의 석탄·철, 21세기의 원유, 렌즈(구글 Ngram Viewer), 플랫폼(페이스북).

데이터 사이언티스트의 소프트 스킬 세 묶음은?

통찰력 있는 분석(창의적 사고·호기심·논리적 비판), 설득력 있는 전달(스토리텔링·시각화), 다분야 간 협력(커뮤니케이션).

싸이월드 사례가 보여 주는 교훈은?

분석 인프라(OLAP 등)가 있어도 분석을 의사결정과 전략 인사이트로 연결하지 못하면 경쟁에서 밀린다.

다음으로 갈 기준: 위기 요인 세 개를 통제 방안과 짝지어 말하고, 비식별화 예시 다섯 개를 기법 이름으로 바꿀 수 있으면 2과목으로 넘어간다: 3편 · 분석 기획의 이해.

정답과 해설

확인 문제 정답

  1. 책임 원칙 훼손. 통제 방안은 실제로 나타난 결과에 대해서만 책임을 묻는 결과 기반 책임 원칙의 고수.
  2. 데이터 범주화.
  3. 표본조사 → 전수조사, 사전처리 → 사후처리, 질 → 양, 인과관계 → 상관관계.
  4. Analytics(분석적 영역), IT(데이터 관리), 비즈니스 분석.
  5. 하드 스킬.
  6. 부서 단위를 넘어 사업 전체와 트렌드를 보므로 새로운 기회를 발굴하고 경영진의 지원을 얻을 수 있다.

단답형 정답

  1. Volume, Variety, Velocity
  2. 렌즈
  3. 양질전환 법칙
  4. 알고리즈미스트(Algorithmist)
  5. 데이터 마스킹
  6. 가명정보
  7. k-익명성
  8. Agency
  9. 마이데이터(MyData)
  10. 유전 알고리즘
오늘도 한 걸음 앞으로.

내용을 이해했다면 학습 완료를 체크해 주세요.

학습 기록은 현재 브라우저에 저장됩니다.
HJS / STUDY한지석