빅분기 필기 1 빅데이터 이해

빅데이터 : 수십 tb 이상의 정형-비정형 데이터에서 가치를 추출하고 결과를 분석하는 기술

DIKW 피라미드 : data - information - knowledge - wisdom (데이터-정보-지식-지혜)

데이터 - 단순한 사실이나 관찰 결과

정보 - 데이터에 맥락을 부여하여 의미를 갖게 된 것

지식 - 정보를 분석하고 패턴을 찾아내어 체계화한 것

지혜 - 지식을 바탕으로 통찰력과 경험을 더해 올바른 판단을 내리는 능력

 

빅데이터의 특징 : 3v, 5v, 7v

3v : 규모 다양성 속도 volume, variety, velocity

규모-정보량의 기하급수적 증가

다양성 - 정형-비정형-반정형

속도 - 실시간성- 가속화 요구

 

5v

신뢰성/ 가치 veracity, value

신뢰성 : 노이즈와 오류의 제거로 데이터의 품질을 향상

가치 : 정확성. 시간성 관련. 정확할수록, 시간에 따른 정보의 가치 향상

 

7v 

정확성, 휘발성 validity. volatility

정확성 : 유효성/ 질 높은 데이터

휘발성 : 데이터가 의미있는 기간

 

구조적 관점의 빅데이터 유형 : 정형, 반정형, 비정형

정형 데이터 : 스키마구조, 고정필드 ㅇ.  ex) 스프레드시트

반정형 데이터 : 스키마 구조, 메타데이터 ㅇ. 고정필드 x. ex)시스템로그, 알람, 센서데이터, rss, html, json

비정형 데이터 : 스키마구조, 메타데이터, 고정필드 x, ex) 텍스트, 이미지, 동영상, 오디오, sns 등  

*스키마구조 : 데이터가 어떻게 구성되어 있는지 정의하는 청사진, 데이터베이스를 만들 때, 어떤 정보를 어떤 형식으로 저장할지 미리 약속해 놓는 규칙

*고정필드 : 모든 데이터(행)이 동일한 수와 종류의 필드(열)을 가짐

*메타데이터 : 데이터의 구조와 의미를 스스로 설명하는 내재된 정보, 별도의 스키마가 분리되어 있지 않고, 데이터 자체에 포함되어 있어 유연성 높음

 

데이터 지식경영 상호작용 : 암묵지/형식지/내면화/공통화/표출화/연결화

암묵지-형식지 간 4단계 지식전환단계 : 공통화 -표출화 -연결화 -내면화 SECI

암묵지 : 개인체화, 형식지 : 매뉴얼/문서등의 형식을 가진 글로 형상화, 내면화 : 행동/실천교육을 통해 교육 형식->암묵, 공통화 : 대화/상호작용 암묵->암묵, 표출화 : 문서화/매체화 암묵-형식, 연결화 : 형식지-상호결합

 

빅데이터 위기 요인 : 사생활침해, 책임원칙 훼손, 데이터 오용

위기요인에 대한 통제방안 : 알고리즘 접근 허용/ 책임강조/ 결과기반 책임 적용

 

빅데이터 산업

 -클라우드 컴퓨팅 기술 발전으로 데이터 처리 비용 감소

주요국&글로벌 기업은 빅데이터 산업육성&활용에 주력

 

빅데이터 조직 : 집중구조-기능구조-분산구조

수직 업무활동 : 우선순위 결정

수평 업무활동 : 프로세스별로 업무 배분

집중구조 : 별도 전담부서, 우선순위 지정 가능

기능 구조 : 해당 부서에서 분석, 전사적 분석 어려움

분산 구조 : 각 부서로 배치, 베스트 프랙티스 공유

 

데이터 사이언티스트 : 복잡한 비즈니스 문제를 모델링하고 인사이트를 도출하여 통계학, 알고리즘, 데이터마이닝, 시각화 기법 등을 통해, 그 속에서 가치를 찾아내는 사람

소프트 스킬 : 통찰력, 협력, 전달력

하드 스킬 : 이론적 지식, 기술 숙련도

가트너 : 비즈니스 분석, 분석 모델링, 데이터 관리, 소프트 스킬

 

역량모델 개발 절차 : 조직 미션과 성과목표, CSF검토-조직 구성원 행동특성 도출 - 역량 도출 - 역량 모델 확정

핵심 성공 요인 CSF : 목표성취를 위해 필요한 요소/ 기업 경쟁력 향상을 위한 핵심 내부역량

핵심 성과 지표 (KPI) : 목표가 달성되었는지 실적을 추적하기 위한 정량화된 측정 지표

균형 성과표 BSC의 4가지 관점 : 재무/ 고객/ 내부프로세스/ 학습&성장 -> BSC를 통한 KPI도출

 

빅데이터 플랫폼 : 빅데이터에서 가치를 추출하기 위한 수집-저장-처리-분석-시각화 과정을 규격화한 기술

빅데이터 플랫폼 데이터 형식 : HTML, XML, CSV, JSON

HTML : 웹페이지 만들 때 사용, 구성 - 텍스트, 태그, 스크립트

XML : SGML 문서형식 다목적 마크업 언어

CSV : 쉼표로 필드 구분, 텍스트 데이터 & 파일

JSON : 키-값 형태로 전달, Java Script Object Notation

 

빅데이터 플랫폼 구축 & 소프트웨어 & 분산컴퓨팅 환경 소프트웨어 구성요소

빅데이터 플랫폼 구축 소프트웨어

R : 오픈소스 프로그래밍 언어, 강력한 시각화 기능

Oozie 우지 : 맵리듀스, 피그등으로 구성된 워크플로우 제어

Flume 플럼 : 대량 로그 수집, 이벤트&에이전트

HBase : 컬럼기반 저장소, HDFS와 인터페이스 제공

Sqoop 스쿱 : SQL to hadoop, RDBMS <> HDFS *RDBMS 관계형 데이터베이스 관리 시스템, HDFS 하둡 분산 파일 시스템

 

분산 컴퓨팅 환경 소프트웨어 구성요소

Map Reduce 맵리듀스 : 맵 : key-value 형태로 취합,/셔플: 통합, -리듀스 : 정리

YARN 얀 : -자원 관리 플랫폼 , 리소스 매니저, 노드매니저 

아파치 스파크 : 실시간 데이터 처리, 대규모 분산처리시스템

HDFS : 분산된 서버에 저장/처리, 네임 노드/데이터 노드

아파치 하둡 : 클라우드 플랫폼 위에서 클러스터를 구성해 데이터 분석

 

하둡 에코시스템 : 수집, 저장, 처리기술&가공, 분석, 관리기술

 

비정형	데이터 수집	정형	데이터 수집	분산 데이터	저장 및 처리
척와 chukwa	HDFS에 저장, 에이전트 & 컬렉터	스쿱 sqoop	대용량 전송 솔루션, 커넥터 사용	저장 : HDFS	분산서버에 저장, 데이터 빠르게 처리
플럼 Flume	대량 로그 수집, 에이전트 & 이벤트	히호 Hiho	대용량 전송 솔루션, 깃허브에 공개됨	처리 : 맵리듀스	대용량 데이터셋 , 분산 병렬 컴퓨팅
스크라이브 scribe	실시간 스트리밍, 대용량 로그 수집			DB : HBase	컬럼기반 저장소

 

기술

피그 pig : 대용량 데이터 집합 분석을 위한 플랫폼, 피그 라틴 : 데이터 흐름을 표현하기 위한 언어

하이브 hive : 하둡기반 DW(데이터 웨어하우스) 솔루션, HiveQL : SQL과 매우 유사한 쿼리

머하웃 Mahout : 하둡기반 데이터 마이닝 알고리즘을 구현한 오픈소스, 주요 알고리즘 : 분류, 클러스터링, 추천 및 협업 필터링, 패턴 마이닝, 회귀분석, 진화 알고리즘 등

임팔라 impala : 하둡기반 SQL 질의 시스템, 수초 내에 결과 확인 가능 / HBase와 연동 가능

주키퍼 Zookeeper : 분산 코디네이션, 분산환경에서 서버들 간에 상호조정이 필요한 다양한 서비스를 제공함

 

인공지능 : 컴퓨터가 인간의 지능적인 행동 &사고를 모방할 수 있도록 하는 소프트웨어

딥러닝 : 기존 지도학습보다 더 능동적인 비지도 학습이 결합되어 컴퓨터가 스스로 학습할 수 있는 인공지능 기술

 

개인정보보호 : 정보주체의 개인정보 자기 결정권을 철저히 보장하는 활동

개인정보 자기 결정권 : 자신에 관한 정보가 언제-어떻게-어느 범위까지 타인에게 전달-이용될 수 있는지 정보주체가 스스로 결정할 수 있는 권리

 

개인정보보호 관련 법령 : 개인정보 보호법, 정보통신망법, 신용정보법

개인정보 보호법 : 개인정보 처리 과정상의 정보주체와 개인정보 처리자의 권리, 의무들을 규정

정보통신망법 : 정보통신망을 통해 수집, 처리, 보관, 이용되는 개인정보의 보호에 관한 규정

신용정보법 : 개인 신용정보의 취급 단계별 보호조치, 의무사항에 관한 규정