빅분기 2과목 2

파생변수 : 기존 변수에 특정 조건, 함수 등을 사용하여 새롭게 재정의한 변수

파생변수 생성 방법 : 단위 변환, 표현형식 변환, 요약통계량 변환, 변수 결합

 

변수 변환 : 불필요한 변수 제거, 반환, 새로운 변수 생성 (단순기능 변환, 비닝, 정규화, 표준화

단순 기능 변환	비닝	정규화	표준화
치우친 변수를 변환	연속형 데이터를 범줗;ㅘ	특정 구간으로 바꿈	0을 중심으로 양쪽 분포
우측 꼬리가 길 때 : 루트, 로그 좌측 꼬리가 길 때 : 제곱	비즈니스 도메인 지식이 필요	최소-최대 정규화 z-스코어 정규화	Z=(x-x_bar)/s

 

불균형 데이터 처리 : 타겟 데이터 매우 극소수인 경우, 정밀도 향상을 위해서 사용

-처리 기법 : 언더샘플링, 오버샘플링, 임계값이동, 앙상블 기법

- 임계값 이동 : 데이터 많은 쪽으로 임계값을 이동시킴(귀무가설 기각 여부를 결정하는 값)

-앙상블 기법 : 서로 같은, 다른 여러 모형들의 예측, 분류결과를 종합

 

언더 샘플링 다수 클레스 데이터를 일부만 선택하여 비율을 맞춤		오버 샘플링 소수 클레스 데이터를 복제, 생성하여 비율을 맞춤
랜덤 언더 샘플링	무작위로 일부 선택	램던 오버 샘플링	무작위로 복제
토멕 링크 방법	경계선 가까이 존재하는 토멕링크를 제거	SMOTE	가상의 직선 위에 데이터를 추가
ENN	소수 클레스 주위에 인접한 다수 클레스 데이터 제거	Borderline_SMOTE	다수 클레스와 소수 클레스의 경계선에서 SMOTE
CNN	다수 클레스에 밀집된 데이터가 없을 때까지 제거	ADASYN	모든 소수 클레스에서 다수 클레스의 관측비율 계산 ->SMOTE 적용
OSS	토멕 링크 _CNN

 

데이터 탐색 : 데이터 분석 전, 그래프, 통계적 방법으로 다양한 각도에서 데이터 특징 파악&직관적으로 보는 분석 방법

탐색적 데이터 분석(EDA)의 4가지 주제 : 저항성, 잔차해석, 자료재표현, 현시성 (Four R`s)

저항성	잔차 해석	자료 재표현	현시성
Resistance	Residuals	Re-expression	Representation
이상값에 영향을 적게 받음	주 경형으로부터 벗어난 정도	적당한 척도로 바꾸는 것	쉽게 이해할 수 있도록 시각화

 

개별 변수, 다차원 데이터 탐색 방법 

범주형	수치형	범주형-범주형	수치형-수치형	범주형-수치형
명목척도&순위척도 빈도수, 최빈값, 비율 막대형 그래프	등간척도-비율척도 평균, 분산, 표준편차 박스플롯, 히스토그램	교차빈도 백분율, 비율	상관성&추세성 피어슨 상관 계수 산점도, 기울기	그룹별 비교 박스플롯

 

상관관계 분석 : 2개 이상의 변수간 상호연관성의 존재 여부 & 강도를 측정하는 분석 방법 

공분상(경향)
상관계수 (방향성&경향)

공분산	피어슨 상관계수	카이제곱 검정(교차분석)	스피어만 순위 상관계수
두 변수간 상관정도 & 경향	수치적 데이터	명목적 데이터	순서적 데이터
0보다 크면 상승, 작으면 하강	-1, +1 범위	지역, 종교, 성별 등	성ㅈ거 순위, 만족도 등

 

기초 통계량

중심경향성 : 평균, 중위수, 최빈값

산포도 : 범위, 분산, 표준편차, 변동계수, 사분위수범위

분포 : 왜도, 첨도

 

변동 계수 : 측정단위가 서로 다른 자료의 흩어진 정도를 상대적으로 비교하기 위함

 

중심경향성		산포도		분포
평균	총합/변수개수	범위	최대값-최소값	왜도	좌,우로 치우친 정도
중위수	중앙에 위치한 값	분산	평균으로부터 편차	첨도	뾰족한 정도
최빈값	가장 많이 관측된 값	표준편차	분산의 양의제곱근
		변동개수 cv	표준편차/평균
		사분위수 범위 IQR	Q3-Q1

 

데이터 분포 : 왜도 & 첨도

왜도		첨도
왼쪽 편포	왜도<0	첨도<0	납작
	Mean<median<mode	첨도>0	뾰족
오른쪽 편포	왜도>0	첨도=0	정규분포
	mode<median<mean

 

시공간 데이터 : 시간에 따라 위치, 형상이 변하는 데이터 (공간적 객체에 시간의 개념이 추가됨

-이산적 변화 : 수집주기 일정하지 않음

-연속적 변화 : 수집주기 일정함, 일종의 함수로 표현

문자열 처리 함수들 : split, find, left, mid

split(문자열, 구분자)	find(찾는 문자, 문자열)	left(문자열, n)	mid(문자열, 시작위치, n)
공백, 쉼표 등으로 나눔	찾는 문자의 문자열 반환	가장 왼쪽부터 문자열 n개	시작위치부터 문자열 n개

 

통계기법의 이해

 

기술 통계: 수집된 데이터를 확률, 통계적으로 정리, 요약하는 기초적인 통계

기초 통계량 : 평균, 중위수, 최빈값, 범위, 분산, 표준편차, 평균의 표준편차, 첨도, 왜도

평균 : 이상값 민감, 중위수 : 특이값 영향  x

 

분산 variance	평균의 표준오차 se
평균으로부터 흩어진 정도 모분산 - 편차제곱합/n 표본분산 - 편차 제곱합/n	표본평균의 표준편차 각 표본마다 평균계산 ->각 평균들의 전체 평균 계산

 

회귀분석, 분산 분석, 주성분 분석, 판별 분석

판별 분석 : 집단에 대한 정보 > 판별규칙, 함수 생성> 새로운 개체가 어떤 집단에 속하는지 판별 

 

회귀분석		분산분석		주성분분석
독립변수가 종속변수에 미치는 영향 추정		2개 이상의 집단간 비교		일부 주성분으로 원래 변수 변동을 설명
결정계수	모형 설명력 확인	f 검정 통계량	분산비교	최소의 주성분으로	분산의 최대량 설명
전제조건	선형성, 등분산성, 독립성, 비상관성, 정규성	일원 이원 다변량	독립변수 1개 독립변수 2개 종속변수 2개 이상	주성분변수	원래 변수들의 선형 결합
독립변수 선택	전진, 후진, 단계	공분산 분석	외생변수 영향 제거

 

표본 추출 : 단순 무작위 추출, 계통 추출, 층화 추출, 군집 추출

계통 추출	층화 추출	군집 추출
일정한 간격으로 추출	여러 계층별로 무작위 추출 계층 : 내부 동질, 외부 이질	일부 군집의 전체, 일부를 추출 군집: 성질을 고려하지 않음
번호 끝자리 5로 끝나는 사람 선정	지역별, 도별로 무작위 n명 선정	검정, 노랑, 파랑 공 100개>파랑 추출

 

자료 측정 : 질적 속성- 명목척도, 순서척도 &양적속성 -구간척도/비율척도

질적 속성		양적 속성
명목척도	순서척도	구간척도	비율척도
분류 목적	대소관계	서열과 의미잇는 차이	구간척도 + 비율 의미있음
등호연산(=)	비교연산(><)	온도	승제연산(%*)

 

확률분포 : 이산확률분포/연속확률분포

이산확률분포	하나씩 셀 수 있는 값	연속확률분포	실수와 같은 연속적인 값
포아송 분포	주어진 시간동안 사건 발생횟수	정규분포	종모양 분포
베르누이 분포	1번 시행>성공, 실패	표준정규분포	z(0,1)>X를 z로 정규화
이항 분포	n번 시행 -> k번 성공확률	T-분포	모집단이 정규분포 모표준편차는 모름
		차이제곱분포	표준정규 확률변수 제곱합
		f분포	카이제곱분포 두 확률 변수 비

 

 

 표본분포 : 표본이 가지는 추정량의 확률분포

표본의 특성을 보여주는 통계량에 의해 모집단의 특성을 보여주는 모수를 추론 

 

용어	의미
모집단	분석 대상 집단 전체
모수	모집단 특성을 나타내는 대표값
표본	모집단 특성을 추정하기 위해 추출, 조사하는 모집단의 일부분
통계량	표본의 특성을 나타냄(확률 변수) 표본에서 얻은 평균, 표준오차 등
추정량	모수 추정을 위해서 구한 통계량
표준오차	통계량의 변동 정도
표본오차	모집단을 대표할 수 있는 것들이 추출되지 못해서 발생하는 오차
비표본오차	표본오차를 제외한 모든 오차
큰 수의 법칙	표본개수가 커질수록 표본평균과 모평균이 비슷해짐
중심극한정리	표본개수가 커질수록 모집단 분포와 상관없이 표본분포가 정규분포와 근사

 

추론 통계 : 점 추정. 구간추정

점 추정	모수를 하나의 값으로 추정	구간 추정	범위로 모수 추정 & 신뢰도 제시
점 추정 조건	불편성, 효율성, 일치성, 충족성	신뢰수준	구간에 모수가 포함될 확률 귀무가설이 참일때 참으로 판단하는 확률 신뢰수준=1-a
사용되는 통계	표본평균, 표본분산, 중위수, 최빈값	신뢰 구간	신뢰수준 기준으로 추정됨 통계적으로 유의미한 모수 범위

 

가설 : 모수에 대한 가정, 잠정적인 결론

 

귀무가설	대립가설
현재까지 주장되어 온 것 기존과 비교하여 변화, 차이가 없음	표본을 통해 확실한 근거를 가지고 입증하고자 하는 가설

 

가설 검정 : 대립가설을 채택할 수 있는지 평가하는 과정

-모집단에 대한 통계적 가설 ( 대립가설) 수립 -> 표본 추출-> 통계적 가설의 진위를 판단

가설 설정 -> 유의수준a설정 -> 검정방법 설정 > p value 산출> 유의수준과 p value 비교

p value > a : 귀무가설 채택,  p value <a : 귀무가설 기각

 

검정통계량 : 가설검정의 대상이 되는 모수를 추론하기 위해 사용하는 표본 통계량

- 귀무가설이 참이라는 전제 하에 모집단으로부터 추출된 확률표본의 정보를 이용함

가설 검정 오류 : 모집단 일부인 표본을 기반으로 모집단에 대해 판단하므로 오류 발생 가능성이 항상 존재함 

 

제 1종 오류 제 2종 오류	귀무가설이 참인데 기각하게 되는 오류 귀무가설이 거짓인데 채택하게 되는 오류
p value  유의 확률	1. 제 1종오류를 범할 확률 2. 귀무가설이 맞다고 가정할 때 얻은 결과보다 극단적인 결과가 관측될 확률 3. 귀무가설이 맞다고 가정할 때 얻은 검정통계량보다 크거나 같은 값을 얻을 수 있는 확률 4. 귀무가설을 맞다고 가정할 때 표본 이상으로 극단적인 결과를 얻을 확률 5. 귀무가설을 지지하는 방향으로 검정통계량이 나올 확률