전영호의 개발 블로그

df = pd.read_csv("../data_set/2.데이터 클린징/nan.csv")
df
# 데이터가 없는 경우 NaN 으로 처리됨

df.head(2)

df.tail(2)

# 데이터가 결측치인 경우 True 를 출력
df.isnull()

# 컬럼 별 결측치 확인
df.isnull().sum()

df.shape

# isnull 과 반대인 notnull
# 결측치는 true, 값이 있는 경우 false
df.notnull()

# 컬럼 별 결측치 확인
# isnull() 이 훨씬 직관적임!!!
df.notnull().sum()

df.isnull().sum()

df

# 결측치가 있는 값을 가진 행을 모두 삭제
df.dropna()

# 결측치가 있는 열을 삭제
df.dropna( axis = 1 )

# nan_1 컬럼에 결측치가 있는 데이터만 출력
df[ df['nan_1'].isnull() ]

# nan_1 컬럼에 결측치가 없는 데이터만 출력
df[ df['nan_1'].notnull() ]

# nan_1 에 해당하는 열이 삭제된다
del df['nan_1']
df

df = pd.read_csv("../data_set/2.데이터 클린징/nan.csv")
df

# 결측 값을 모두 0으로 변환
df.fillna(value=0)

# 평균값으로 치환
# df.mean() 이 평균을 구하는 코드이다
df.fillna(df.mean())

# 중앙값, 최빈값 확인
data = {'v1':[12,12,17,1,3,6,6,7,10],
       'v2':[1,3,6,6,6,7,7,12,12] }
df_test = pd.DataFrame(data)
df_test

# 중위 수를 구해준다 ( 자동으로 데이터를 정렬해서 구해준다 )
# 중위 수는 정렬했을 때 가운데 있는 값
# 만약 데이터의 갯수가 짝수인 경우 중앙에 위치한 2 수의 평균을 출력함
df_test.median()

# sort_values() 를 사용하면 정렬이 가능하다
df_test['v1'].sort_values()

# 최빈 값 구하기 ( 가장 많이 사용된 데이터를 출력 )
df_test.mode()

# 각 컬럼의 데이터 별로 몇 번씩 사용되었는지 value_counts() 로 확인
df_test['v2'].value_counts()

# 각 컬럼의 데이터 별로 몇 번씩 사용되었는지 value_counts() 로 확인
df_test['v1'].value_counts()

df

df.median()

# 결측치를 중앙 값으로 치환
df.fillna(df.median())

# 최빈 값 구하기
df.mode()

df.fillna(df.mode())

# 0번째 인덱스만 가져온다
df.mode().loc[0]

# 최빈값으로 결측값을 치환
df.fillna(df.mode().loc[0])

df

# pad : 결측 데이터의 이전 값으로 치환
df.fillna( method = 'pad' )

# pad : 결측 데이터의 다음 값으로 치환
df.fillna( method = 'bfill' )

# 유일한 값을 뽑아준다
df['nan_1'].unique()

df

# 값이 2인 데이터를 200 으로 치환
df.replace(to_replace=2, value=200)

# 값이 결측값인 데이터를 replace 를 사용하여 치환
# numpy 를 import 후 nan(결측값)을 확인하여 사용
import numpy as np
df.replace(to_replace=np.nan, value='변경')

df

# 서울시에서 제공한 데이터셋으로 연습
df = pd.read_csv('../data_set/2.데이터 클린징/bicycle.csv')
df.head()

# 총 423 개의 데이터가 존재
# 12개의 컬럼 존재
df.shape

# 대여소 번호가 646인 데이터만 출력
df["대여소번호"] == 646

df[df["대여소번호"] == 646]

df.loc[df["대여소번호"] == 646]

# 대여소번호가 646인 값들 중 대여거치대, 반납일시 column 만 출력
df.loc[df["대여소번호"] == 646, ['대여거치대', '반납일시']]

# 대여소번호가 646인 데이터들 중 값이 빈 것들의 합
df.loc[df["대여소번호"] == 646].isnull().sum()

df[df["대여소번호"] == 646]['이용거리'].fillna(789.789)

df.loc[df["대여소번호"] == 646 , '이용거리'].fillna(111.111)

# 결측 값을 반영
df.loc[df["대여소번호"] == 646, '이용거리'] = df.loc[df["대여소번호"] == 646 , '이용거리'].fillna(111.111)
df.loc[df["대여소번호"] == 646, '이용거리']

# df 내에 대여소 번호가 646인 데이터들 중 이용거리의 결측값이 있던 데이터들이
# 모두 치환되어 결측값이 존재하지 않게 됨
df.loc[df["대여소번호"] == 646].isnull().sum()