cysk 님의 블로그

for 문은 쉽지만 손목 건강에는 별로 좋지 않다그래서 있는게 리스트 컴프리헨션으로 for 반복문과 if 조건을 한줄에 압축해서 리스트를 만드는 문법이다.리스트 만드는 공장을 만든다고 생각하면 된다. 기본 공식1. for 기본형[ 최종 리스트에 담을 값 | for 항목 in 반복 대상]nums = [1, 2, 3, 4, 5] # 재료n_list = [] #산출물 담을 공간for n in nums : list.append(n*n)#n_list에 담긴 값 1*1, 2*2, 3*3, 4*4, 5*5#n_list [1, 4, 9, 16, 25] 이 코드를 리스트 컴프리헨션으로 바꾸면 다음과 같이 된다n_list = [n*n for n in nums] # 설계도# n*n : 나는 n*n을 리스트에 담을거야# f..

smote ( Synthetic Minority Over-sampling Technique )출처개념smote는 소수 클래스의 데이터를 합성하여 새로운 데이터를 생성하는 방식의 오버 샘플링 기법이다. knn 기반으로 새로운 데이터를 생성하여 데이터의 다양성을 증가시킨다 알고리즘1. 소수 클래스의 데이터 샘플을 선택2. 선택된 샘플의 knn을 찾음3. 이웃 중 하나를 랜덤하게 선택하여 기존 데이터와의 차이를 계산4. 랜덤한 값을 곱하고 기존 데이터에 더하여 새로운 데이터를 생성함 장점 - 기존 데이터를 단순 복제하는 것이 아니라, 새로운 데이터를 생성하여 모델의 일반화 성능을 향상시킴- 다양한 데이터 분포를 유지하면서 소수 클래스의 샘플 수를 증가시킴 단점- 생성된 샘플이 실제 데이터가 아니므로, 원본 ..

간만에 만지니 너무 어려워서 버벅이다가 못풀었다... 파이썬 그만 만지고 sql도 다시 공부 해야할듯 문제 공개해도 되는지 몰라서 쿼리만select c.customer_id, p.last_name, sum(sod.order_qty) as total_order, p.first_namefrom sales_customer as cjoin person as p on c.person_id = p.business_entity_idjoin sales_order_header as soh on c.customer_id = soh.customer_idjoin sales_order_detail as sod on soh.sales_order_id = sod.sales_order_idwhere ..

문제 1 특정 조건을 만족하는 물고기별 수와 최대 길이 구하기with fish_stats as -- 필터링 기준 만들기 (select fish_type, avg(case when length is null or length =33), fish_ranked as -- 계산 (select id, fish_type, length, count(*) over(partition by fish_type) as fish_count, row_number() over(partition by fish_type order by length desc) as fr from fish_info)select t.fish_count, t.length -- 집계as max_length, t..

문제 with car_with_discount as -- with ~ as를 이용한 풀이 (select c.car_id, c.car_type, round(c.daily_fee * 30 * (1 - p.discount_rate / 100), 0) as fee from car_rental_company_car c join car_rental_company_discount_plan p on c.car_type = p.car_type and p.duration_type = '30일 이상')select t.car_id, t.car_type, t.feefrom car_with_discount twhere t.car_type in ('세단', 'SUV') and t.car_id..

1. 대장균의 크기에 따른 분류 1 답SELECT ID, CASE WHEN SIZE_OF_COLONY 2. SELECT -- 풀이1 SUM(CASE WHEN (GENOTYPE & 2) = 0 AND ((GENOTYPE & 1) > 0 OR (GENOTYPE & 4) > 0) THEN 1 ELSE 0 END) AS COUNTFROM ECOLI_DATA; SELECT COUNT(*) AS COUNT -- 풀이2FROM ECOLI_DATAWHERE (GENOTYPE & 2) = 0 AND ((GENOTYPE & 1) > 0 OR (GENOTYPE & 4) > 0); 3. select id, case when a.qua..

파생변수 : 기존 변수에 특정 조건, 함수 등을 사용하여 새롭게 재정의한 변수파생변수 생성 방법 : 단위 변환, 표현형식 변환, 요약통계량 변환, 변수 결합 변수 변환 : 불필요한 변수 제거, 반환, 새로운 변수 생성 (단순기능 변환, 비닝, 정규화, 표준화단순 기능 변환비닝정규화표준화치우친 변수를 변환연속형 데이터를 범줗;ㅘ특정 구간으로 바꿈0을 중심으로 양쪽 분포우측 꼬리가 길 때 : 루트, 로그좌측 꼬리가 길 때 : 제곱비즈니스 도메인 지식이 필요최소-최대 정규화z-스코어 정규화Z=(x-x_bar)/s 불균형 데이터 처리 : 타겟 데이터 매우 극소수인 경우, 정밀도 향상을 위해서 사용-처리 기법 : 언더샘플링, 오버샘플링, 임계값이동, 앙상블 기법- 임계값 이동 : 데이터 많은 쪽으로 임계값을 이동..

데이터 전처리 : 데이터 정제 -결측값 처리 - 이상값 처리 - 분석 변수 처리데이터 정제 (cleansing)결측값과 이상값 처리를 통해 데이터 신뢰도를 높이는 작업-오류 데이터값을 정확한 데이터로 수정, 삭제하는 과정- 오류 원인 분석 - 정제 대상 선정 - 정제 방법 결정 데이터 오류 원인 : 결측값, 노이즈, 이상값결측값 : 누락된 값노이즈 : 잘못 판단된 값이상값 : 범위에서 많이 벗어난 값필수적인 데이터가 입력되지 않음입력되지 않았는데 입력되었다고 판단됨범위에서 많이 벗어난 아주 작은, 큰 값 데이터 일관성을 유지하기 위한 정제기법 : 변환, 파싱, 보강변환파싱보강다양한 형태로 표현된 값을 일관된 형태로 변환정제 규칙을 적용하기 위한 유의미한 최소 단위로 분할변환, 파싱, 수정, 표준화를 통한..

데이터 처리 기술 : 필터링, 변환, 정제, 통합, 축소 필터링변환정제통합축소목적에 맞지 않는 정보보정, 삭제, 중복성 등일관성 있는 형식평활화, 집계, 정규화 등불일치성 교정결측값, 잡음 처리등출처 다름, 상호연관성있는 데이터 결함불필요한 데이터축소, 고유한 특성의 손상 없이 데이터 수집 프로세스 :수집데이터 도출 - 목록작성 - 소유기관 파악 &협의 - 데이터 유형분류&확인 - 수집기술 선정 -수집주기 결정 -수집실행수집 데이터의 대상 : 내부데이터 - 서비스, 네트워크, 마케팅 & 외부데이터 - 소셜, 네트워크, 공공내부 데이터 - 주로 정형 데이터외부 데이터 - 주로 비정형 데이터서비스네트워크마케팅소셜네트워크공공scm, erp, crm인정증, 거래시스템포털 등백본, 방화벽ips, ids스위치 등v..

2. 데이터 분석 계획하향식/상향식 접근방식 하향식 접근 : 문제를 정하고 해결방안을 탐색문제탐색-문제정의-해결방안 탐색-타당성검토-선택문제탐색 : 비즈니스 모델 기반/ 기회발굴 범위확장/ 외부참조 모델기반/ 분석 유스케이스 정의 상향식 접근방식 : 데이터를 기반으로 지속적 문제 개선문제 정의 자체가 어려운 경우기존 하향식 접근방식의 한계 극복디자인사고 접근법/ 비지도학습 방법/ 프로토타이핑 접근법 빅데이터 분석 기획 유형 : 최적화, 솔루션, 통찰, 발견최적화 : 분석 대상과 방법을 모두 알고 있을때솔루션 : 대상을 알고 방법을 모를때통찰 : 대상을 모르고 방법을 알때발견 : 분석 대상과 방법을 모두 모를때->로 갈수록 하나씩 모름 빅데이터 분석 방법론 : 문제를 정의하고 답을 도출하기 위한 체계적인 ..