CS STUDY

import numpy as np import pandas as pd dataframe merge SQL의 join처럼 특정한 column을 기준으로 병합 join 방식: how 파라미터를 통해 명시 inner: 기본값, 일치하는 값이 있는 경우 left: left outer join right: right outer join outer: full outer join pandas.merge 함수가 사용됨 on join 대상이 되는 column 명시 index 기준으로 join 하기

import pandas as pd import numpy as np concat 함수 사용하여 datafrane 병합하기 pandas.concat 함수 축을 따라 dataframe을 병합 가능 기본 axis=0 -> 행단위 병함 column 명이 다른 경우

import numpy as np import pandas as pd df = pd.DataFrame({ '지역': ['서울', '서울', '서울', '경기', '경기', '부산', '서울', '서울', '부산', '경기', '경기', '경기'], '요일': ['월요일', '화요일', '수요일', '월요일', '화요일', '월요일', '목요일', '금요일', '화요일', '수요일', '목요일', '금요일'], '강수량': [100, 80, 1000, 200, 200, 100, 50, 100, 200, 100, 50, 100], '강수확률': [80, 70, 90, 10, 20, 30, 50, 90, 20, 80, 50, 10] }) df stack & unstack stack: 컬럼 레벨에서 인덱스 레벨..

import numpy as np import pandas as pd df = pd.DataFrame({ '지역': ['서울', '서울', '서울', '경기', '경기', '부산', '서울', '서울', '부산', '경기', '경기', '경기'], '요일': ['월요일', '화요일', '수요일', '월요일', '화요일', '월요일', '목요일', '금요일', '화요일', '수요일', '목요일', '금요일'], '강수량': [100, 80, 1000, 200, 200, 100, 50, 100, 200, 100, 50, 100], '강수확률': [80, 70, 90, 10, 20, 30, 50, 90, 20, 80, 50, 10] }) df pivot dataframe의 형태를 변경 인덱스, 컬럼, 데이터로..

import numpy as np import pandas as pd transform 함수 groupby 후 transform 함수를 사용하면 원래의 index를 유지한 상태로 통계함수를 적용 전체 데이터의 집계가 아닌 각 그룹에서의 집계를 계산 따라서 새로 생성된 데이터를 원본 dataframe과 합치기 쉬움

import pandas as pd import numpy as np # data 출처: https://www.kaggle.com/hesh97/titanicdataset-traincsv/data df = pd.read_csv('./train.csv') group by 아래의 세 단계를 적용하여 데이터를 그룹화(groupping) 데이터 분할 operation 적용 데이터 병합 GroupBy group 속성 각 그룹과 그룹에 속한 index를 dict 형태로 표현 grouping 함수 그룹 데이터에 적용 가능한 통계 함수(NaN은 제외하여 연산) count - 데이터 개수 sum - 데이터의 합 mean, std, var - 평균, 표준편차, 분산 min, max - 최소, 최대값 성별에 따른 생존율 구해..

import pandas as pd one-hot encoding 범주형 데이터는 분석단계에서 계산이 어렵기 때문에 숫자형으로 변경이 필요함 범주형 데이터의 각 범주(category)를 column레벨로 변경 해당 범주에 해당하면 1, 아니면 0으로 채우는 인코딩 기법 pandas.get_dummies 함수 사용 drop_first: 첫번째 카테고리 값은 사용하지 않음. 변수 한개를 줄이기 위한 목적

import pandas as pd info함수로 각 변수의 데이터 타입 확인 타입 변경은 astype함수를 사용 숫자형(Numerical Type) 데이터 연속성을 띄는 숫자로 이루어진 데이터 예) Age, Fare 등 범주형(Categorical Type) 데이터 연속적이지 않은 값(대부분의 경우 숫자를 제외한 나머지 값)을 갖는 데이터를 의미 예) Name, Sex, Ticket, Cabin, Embarked 어떤 경우, 숫자형 타입이라 할지라도 개념적으로 범주형으로 처리해야할 경우가 있음 예) Pclass 숫자 데이터와 범주형 데이터화 Age 변수 변환하기 변환 로직을 함수로 만든 후, apply함수로 적용

import pandas as pd NaN 값 확인 info함수를 통하여 개수 확인 isna함수를 통해 boolean 타입으로 확인 NaN 처리 방법 데이터에서 삭제 dropna 함수 다른 값으로 치환 fillna 함수 NaN 데이터 삭제하기 NaN 값 대체하기 평균으로 대체하기 생존자/사망자 별 평균으로 대체하기

import pandas as pd import matplotlib.pyplot as plt %matplotlib inline 변수(column) 사이의 상관계수(correlation) corr함수를 통해 상관계수 연산 (-1,1 사이의 결과) 연속성(숫자형) 데이터에 대해서만 연산 인과관계를 의미하진 않음