빅분기 필기 1 빅데이터 이해 2

2. 데이터 분석 계획

하향식/상향식 접근방식

 

하향식 접근 : 문제를 정하고 해결방안을 탐색

문제탐색-문제정의-해결방안 탐색-타당성검토-선택

문제탐색 : 비즈니스 모델 기반/ 기회발굴 범위확장/ 외부참조 모델기반/ 분석 유스케이스 정의

 

상향식 접근방식 : 데이터를 기반으로 지속적 문제 개선

문제 정의 자체가 어려운 경우

기존 하향식 접근방식의 한계 극복

디자인사고 접근법/ 비지도학습 방법/ 프로토타이핑 접근법

 

빅데이터 분석 기획 유형 : 최적화, 솔루션, 통찰, 발견

최적화 : 분석 대상과 방법을 모두 알고 있을때

솔루션 : 대상을 알고 방법을 모를때

통찰 : 대상을 모르고 방법을 알때

발견 : 분석 대상과 방법을 모두 모를때

->로 갈수록 하나씩 모름

 

빅데이터 분석 방법론 : 문제를 정의하고 답을 도출하기 위한 체계적인 절차와 방법

빅데이터 분석 방법론 계층 : 단계/ 태스크/ 스텝

 

단계 phase :

단계별 산출물 생성, 기준선으로 설정 관리, 버전관리 등으로 통제 

 

테스크 task
단계를 구성하는 단위활동, 물리적 or 논리적 단위, 품질검토 가능

 

스텝 step

구성 : 입력자료, 처리&도구, 출력자료

단위 프로세스

 

빅데이터 분석 방법론 유형 : KDD, CRISP-DM, SEMMA

KDD	SRISP-DM	SEMMA
선택-전처리-변환-데이터마이닝-평가	업무이해-데이터이해-데이터준비-모델링-평가-전개	샘플링-탐색-수정-모델링-검증
1996, fayyad, 프로파일링 기술기반 통계적 패턴&지식을 찾기 위함 전처리 : 노이즈, 이상값, 결측값 제거 변환 : 변수 찾음, 데이터 차원 축소	1996, 유럽연합 ESPRIT 비즈니스 이해 바탕 단계간 피드백 모델링 : 기법, 알고리즘, 매개변수	SAS 주도, 통계중심 탐색 : 기초통계, 그래프, 클러스터링 등 수정 : 수량화, 표준화, 그룹화 등 변수생성, 선택, 병형

 

데이터 확보 계획 수립 절차 : 목표정의 - 요구사항 도출 - 예산안 수립- 계획수립

빅데이터 분석 절차 : 문제인식 - 연구조사 - 모형화 - 자료수집 - 자료분석 - 분석결과공

 

데이터 처리기술 : 필터링, 변환, 정제, 통홥, 축소

필터링	변환	정제	통합	축소
목적에 맞지 않는 정보 보정, 삭제, 중복성 등	일관성 있는 형식 평활화, 집계, 정규화 등	불일치성 교정 결측값, 잡음 처리 등	출처 다름, 상호연관성 있는 데이터의 결합	불필요한 데이터 축소 고유한 특성은 손상 x