하나둘셋넷

데이터 전처리 기본세팅 - 경고 무시

경고 무시

import warnings

# 모든 경고 무시
warnings.filterwarnings('ignore')

# 특정 경고 무시
warnings.filterwarnings('ignore', category=RuntimeWarning)

reset_index

# 단지 코드를 index로 전용면적 구간을 컬럼(열)으로 하여 전용면적별세대수 구하기(pivot)
# 결과를 result_5_1 저장
# 단지 코드를 index --> 컬럼으로 변경하기 : reset_index, drop = False, inplace = True

result_5_1 = group_5_1.pivot(index='단지코드', columns ='전용면적구간', values = '전용면적별세대수')
result_5_1.reset_index(inplace = True, drop = False)
display(result_5_1.head())
type(result_5_1)

컬럼 -인덱스 변환

## save_check 데이터 프레임의 ['model_name', 'valid_data'] 컬럼을 지정하여 인덱스로 설정해 줍니다.

## 변환한 값은 result_comp 변수에 할당해 주세요.

## 참고함수: set_index

result_comp = save_check.set_index(["model_name","valid_data"])

result_comp

# reset_index 원본 데이터

path = 'https://raw.githubusercontent.com/Jangrae/csv/master/pop_simple.csv'
pop = pd.read_csv(path) 
pop.set_index('year', inplace = True)
pop.index.name = None


# 확인
pop.head()

인덱스 초기화

# pop.reset_index(drop=False)
pop.reset_index(drop=False,inplace=True)


# 확인
pop.head(10)

# reset_index 활용 drop

# 데이터 읽어오기
import pandas as pd
path = 'https://raw.githubusercontent.com/Jangrae/csv/master/tips.csv'
pop = pd.read_csv(path) 
tip = pd.DataFrame(pop)

tip_top10 = tip.sort_values(by='total_bill',ascending=False)
tip_top10

기본 상태

drop = Flase 설정

tip_top10 = tip.sort_values(by='total_bill',ascending=False)
tip_top10.reset_index(drop=True, inplace = True)

tip_top10

drop = True 설정

tip_top10 = tip.sort_values(by='total_bill',ascending=False)
tip_top10.reset_index(drop=True, inplace = True)

tip_top10

data.index.name 활용_데이터 확인 

import numpy as np
import pandas as pd
import os
import csv
import matplotlib.pyplot as plt

data = pd.read_csv('./csv/교원+1인당+학생수(구별)_20230820151017.csv',index_col=0)

data

data.index.name = None 적용

import numpy as np
import pandas as pd
import os
import csv
import matplotlib.pyplot as plt

data = pd.read_csv('./csv/교원+1인당+학생수(구별)_20230820151017.csv',index_col=0)
data.index.name = None

data

data.index.name = None 적용

import pandas as pd

path = 'https://raw.githubusercontent.com/Jangrae/csv/master/pop_simple.csv'
pop = pd.read_csv(path) 
pop.set_index('year', inplace = True)
pop.index.name = None

# 인덱스 초기화
pop.reset_index(drop=False,inplace=True)


# 확인
pop.head(10)

데이터 전처리 병합, 합치기]

 

병합, 합치기 - pd.concat() 행 방향으로 붙이기

bicycle_new = pd.concat([f19, f20])
bicycle_new = pd.concat([bicycle_new, f21])

 

병합, 합치기 - pd.concat() 열 방향으로 붙이려면?

bicycle_new = pd.concat([f19, f20], axis =1)

 

병합, 합치기 - pd.merge()

# 데이터프레임 조인
pop = pd.merge(pop01,pop02, on='year', how='outer')
pop = pd.merge(pop,pop03, on='year', how = 'outer')
pop.head()

 

데이터 전처리 구간, 범위]

구간 - between

이미 값의 형식이 지정되어 있다.

구간 - pd.cut

bin = [ -np.inf, 숫자, 숫자, 숫자, np.inf ]
label = [ 구간, 구간, 구간, 구간 ]

데이터프레임['새로 만들 컬럼명'] = pd.cut( 데이터프레임['기존 컬럼명'],
					bins = bins, labels = labels)

구간 - pd.cut, describe

q1 = titanic['Age'].describe()['25%']
q2 = titanic['Age'].describe()['50%']
q3 = titanic['Age'].describe()['75%']
print(q1, q2, q3)

bin = [-np.inf,q1,q2,q3,np.inf]
label = list('abcd')
titanic['AgeGrp'] = pd.cut(titanic['Age'], bins = bin,labels = label)
titanic

데이터 전처리 정렬]

정렬 - 전치 이후에 정렬

print('='*100)
print('원본 데이터')
print('='*100)
Cost_Guard_reason_2017 = Cost_Guard_reason.iloc[[2],:].drop('연도', axis = 1)
display(Cost_Guard_reason_2017)

print('='*100)
print('transpose를 진행한다.')
print('='*100)
Cost_Guard_reason_2017_trans = Cost_Guard_reason_2017.transpose()
display(Cost_Guard_reason_2017_trans)

print('='*100)
print('오름차순 정렬을 진행한다.')
print('='*100)
Cost_Guard_reason_2017_trans_sorted = Cost_Guard_reason_2017_trans.sort_values(by=2, ascending = True)
display(Cost_Guard_reason_2017_trans_sorted)

정렬 - 오름차순 정렬

merge_participate_submission['참가자 수'].sort_values()

정렬 - 내림차순 정렬

merge_participate_submission['참가자 수'].sort_values(ascending = False)

정렬 - 선택한 열들 중 특정 열을 기준으로 정렬

tip.loc[:, ['tip' ,'day', 'time']].sort_values(by='tip', ascending = False)

정렬 - 딕셔너리 sorted, items, lambda, reverse

# 딕셔너리를 값에 따라 내림차순으로 정렬
sorted_wordCount = dict(sorted(wordCount.items(), key=lambda item: item[1], reverse=True))

# 결과 출력
print(sorted_wordCount)

lst.sort()

lst = [[1, 3], [2, 4], [3, 5]]

# lst를 내부 리스트의 두 번째 요소를 기준으로 오름차순 정렬
sorted_lst = sorted(lst, key=lambda x: x[1])

print(sorted_lst)

lst = [[1, 3], [2, 4], [3, 5]]

# lst를 내부 리스트의 두 번째 요소를 기준으로 오름차순 정렬 (원본 리스트를 변경)
lst.sort(key=lambda x: x[1])

print(lst)

데이터 전처리 조회, 찾기, 탐색, 확인, 정보]

조회 - 조건 -  컬럼 조건 조회

데이터프레임.loc[ 데이터프레임['컬럼명'] >= 30 ]

조회 - 조건 - 조건 여러 개 세팅

tip.loc[ ( tip['tip'] > 6.0) & (tip['day'] == 'Sat'), :]

조회 - 조건 - 문장에서 구분점을 기준으로 데이터를 분리하여 추출 split()

# 키워드를 추출하고 가장 많이 등장한 상위 10개를 세어줍니다.
keywords = competition_info_df['키워드'].str.split('|').explode()
keyword_counts = keywords.value_counts().head(10)
print(keyowrd_counts)

조회 - 특정 - 문자와 숫자가 함께 있을 때 숫자 부분만 조회

import pandas as pd

# 예시 데이터 생성
data = {'용량': ['100ml', '250ml', '500ml', '1L', '2.5L']}
df = pd.DataFrame(data)

# '용량' 열에서 숫자 부분만 추출
df['숫자'] = df['용량'].str.extract('(\d+\.?\d*)')

df

nation_wide['식품중량'].str[0]

조회 - 특정 - 원하는 부분만 추출, "칼럼이름".str[n:n]

import pandas as pd

df = pd.read_csv('train.csv')
df.ID.str[0:6] # 여기에서 ID는 데이터프레임의 컬럼 이름

 

조회 - 특정 - timedelta에서 원하는 요소만 조회

display(df_competition['진행기간'][0])
df_competition['진행기간'][0].days

조회 - 특정 - isin() 특정 정보 포함

조회 - 특정 - 특정 키워드 포함 str.contains

df_competition.loc[df_competition['키워드'].str.contains("알고리즘"),:]

조회 - 특정 -특정 키워드를 제외한 데이터 탐색 ~df['컬럼명'].str.contains('글자')

seoul_monthly_2023_school = seoul_monthly_2023.loc[seoul_monthly_2023['대여소명'].str.contains('학교') &
                                                  ~seoul_monthly_2023['대여소명'].str.contains('역') &
                                                  ~seoul_monthly_2023['대여소명'].str.contains('정류장')]
seoul_monthly_2023_school

조회 - 특정 - 컬럼에서 "특정 데이터"를 포함하는 행만 출력

# 예시
# 단일 조건 
df.loc[ df['cmpSclNm'] =='중소기업']

# 조건 여러 개
df.loc[ ( df['기업명'] == '(주)드림' ) & ( df['accNm'] == '영업이익' ) ]

조회 - 특정 - 특정 열 조회

tip.loc[:,'total_bill']

조회 - 특정 - 여러 컬럼 선택 조회

tip.loc[:, ['tip', 'total_bill'] ]

조회 - 특정 - 특정 열 조회 loc 방식 비교

조회 - 일치 - 컬럼명 일치 여부 확인 

target_01 = bicycle_20_01
target_06 = bicycle_20_06
feature = [ bicycle_20_01,bicycle_20_02,bicycle_20_03,bicycle_20_04,bicycle_20_05,bicycle_20_06,
bicycle_20_07,bicycle_20_08,bicycle_20_09,bicycle_20_10,bicycle_20_11,bicycle_20_12]

for i in feature:
    print(target_01.columns == i.columns)

for i in feature:
    print(target_06.columns == i.columns)

조회 - 컬럼의 데이터별 갯수 구하기 value_counts

df['컬럼 이름'].value_counts()

조회 - 형식 - 숫자가 아닌 행 찾기 데이터프레임

[ 데이터프레임['컬럼명'].str.isnumeric() == False ]

조회 - 형식 - 수치형인 컬럼만 추출

numeric_columns = df[ df.dtypes != 'object'  ]

조회 - 형식 - 문자형인 컬럼만 추출

string_columns = df[ df.dtypes == 'object' ]

조회 - 형식 - 숫자형 데이터, 문자형 데이터 구분

# 데이터 유형을 문자열과 숫자로 구분
is_string = df_competition['상금 정보'].apply(lambda x: isinstance(x, str))
is_numeric = df_competition['상금 정보'].apply(lambda x: isinstance(x, (int, float)))

display(is_string)
print()

# 문자열과 숫자 데이터의 개수 세기
num_strings = is_string.sum()
num_numerics = is_numeric.sum()

print("문자열 데이터 개수:", num_strings)
print("숫자형 데이터 개수:", num_numerics)

정보 확인 - info

# 데이터 기초 정보 확인2
## data 데이터프레임의 컬럼명, 데이터 개수, 타입 정보를 보기 쉽게 출력해 주세요.
## .info 파라미터: verbose=True, null_counts=True

data.info(verbose=True, null_counts=True)

 

verbose=True: 이 옵션을 사용하면 데이터프레임의 모든 컬럼에 대한 상세한 정보를 출력합니다. 컬럼명, 컬럼의 데이터 타입, 비어 있지 않은 값의 개수(null이 아닌 값의 개수), 메모리 사용량 등이 포함됩니다.

 

verbose=False: 이 옵션을 사용하면 데이터프레임의 요약 정보만 출력됩니다. 모든 컬럼의 상세한 정보는 출력되지 않으며, 데이터프레임의 크기(행과 열의 개수)와 같은 기본 정보만 표시됩니다.

 

 

정보 확인 - 컬럼의 데이터별 갯수 구하기 value_counts

df['컬럼 이름'].value_counts()

 

정보 확인 - 데이터 비중 확인

data['Activity'].value_counts() / data['Activity'].value_counts().sum()

 

 

정보 확인 - describe 함수

 

 

 

정보 확인 - shape

# 데이터 읽어오기
import pandas as pd
import csv
path = 'https://raw.githubusercontent.com/Jangrae/csv/master/tips.csv'
tip = pd.read_csv(path)

# 확인
tip

# total_bill 열 조회
tip.shape

 

정보 확인 - info 함수

 

정보 확인 - index

 

정보 확인 - sort_values()

 

 

 

데이터 전처리 정보, 형태 변경, 변형]

변경 - 데이터 - replace

titanic['Sex'] = titanic['Sex'].replace({'male':1, 'female':0})

변경 - 데이터 - 컬럼 안 데이터 다른 값으로 바꾸기 map

y_train_map = y_train.map({'STANDING':0, 'SITTING':1, 'LAYING':2, 'WALKING':3, 'WALKING_UPSTAIRS':4, 'WALKING_DOWNSTAIRS':5})

y_val_map = y_val.map({'STANDING':0, 'SITTING':1, 'LAYING':2, 'WALKING':3, 'WALKING_UPSTAIRS':4, 'WALKING_DOWNSTAIRS':5})

y_val_map

변경 - 데이터 - 특정 컬럼 안의 데이터 프레임에서 띄어쓰기 기준, 앞 데이터 선택

# 데이터프레임의 특정 컬럼에서 띄어쓰기를 기준으로 앞 부분만 선택하여 기존 데이터 대체

# 예시 데이터프레임 생성
df = pd.DataFrame({
    'Menu': [
        '스크램블에그',
        '고로케',
        '카레 고등어구이',
        '콩가루 배춧국',
        '크림 리조또',
        '돼지고기 파인애플볶음밥',
        '샤인머스켓',
        '고구마 스프',
        '돼지고기 깻잎볶음',
        '쇠갈비 찜',
        '온청포 묵국',
        '양배추 샐러드'
    ]
})

# 띄어쓰기를 기준으로 첫 부분만 선택하여 기존 데이터 대체
df['Menu'] = df['Menu'].apply(lambda x: x.split(' ')[0])
df

변경 - 데이터 - 이름에서 괄호 (  ) 부분을 제거하고 기존 값을 대체

# 괄호가 포함된 새로운 예시 데이터프레임 생성
df_with_parentheses = pd.DataFrame({
    'Menu': [
        '스크램블에그(달걀)',
        '고로케(감자)',
        '카레(고등어)',
        '콩가루(배춧국)',
        '크림(리조또)',
        '돼지고기(파인애플볶음밥)',
        '샤인머스켓(포도)',
        '고구마(스프)',
        '돼지고기(깻잎볶음)',
        '쇠갈비(찜)',
        '온청포(묵국)',
        '양배추(샐러드)'
    ]
})

# 괄호와 괄호 안의 내용을 제거하는 정규 표현식
regex = re.compile(r'\([^)]*\)')

# 메뉴에서 괄호 안의 내용 제거 후 띄어쓰기를 기준으로 첫 부분만 선택
df_with_parentheses['Menu'] = df_with_parentheses['Menu'].apply(lambda x: regex.sub('', x).split(' ')[0])
df_with_parentheses

변경 - 순서 - 컬럼 순서 변경

# 열 순서 변경
pop_test = pop_test[['year', 'household', 'total', 'male', 'female', 'k_total', 'k_male', 'k_female', 'f_total', 'f_male', 'f_female', 'older_65']]

변경 - 컬럼 - 컬럼명을 첫 행의 값으로 변경, 첫 행 삭제

import pandas as pd

# 데이터프레임 예시 생성
data = [["Column1", "Column2", "Column3"], [1, 2, 3], [4, 5, 6]]
df = pd.DataFrame(data)
display(df)

# 첫 번째 행을 컬럼으로 설정
df.columns = df.iloc[0]
display(df)

# 첫 번째 행 삭제
df = df.drop(df.index[0])
display(df)

변경 - 컬럼 - 데이터 프레임 인덱스 지정

df = pd.DataFrame(data, index=['Row1', 'Row2', 'Row3', 'Row4'])

변경 - 데이터 선택 - 특정 데이터를 포함한 행만 남기기 isin()

com_values  =  ['유동비율', '차입금', '자기자본', '총자산']

filtered_data = data_small[data_small['com'].isin(com_values)]

변경 - 이름 - 이름 변경 rename

# 데이터 읽어오기
path = 'https://raw.githubusercontent.com/Jangrae/csv/master/pop_simple.csv'
pop = pd.read_csv(path) 
pop.set_index('year', inplace = True)
pop.index.name = None


pop.reset_index(drop=False,inplace=True)

# 열 이름 변경
pop.rename(columns={'index':'year'}, inplace=True)

# 확인
pop.head(10)

변경 - 이름 - 컬럼 이름 변경 rename

데이터프레임.rename( columns = { '변경 전 컬럼이름' : '변경 후 컬럼이름',
                     '변경 전 컬럼이름' : '변경 후 컬럼이름'} )

변경 - 이름 - 변경

pop.rename(columns={'index':'year'}, inplace=True)

# 확인
pop.head()

변경 - 이름 - 컬럼명 변경, 반복문

for i in feature:
    i.rename(columns = {'이동거리(M)' :'이동거리',
                        '이용시간(분)':'이용시간'}, inplace =True)

for i in feature:
    print(target_01.columns == i.columns)

변경 - 행 - 특정 컬럼에서 리스트 안에 있는 데이터와 일치하는 행만 남기기

import pandas as pd

# 예시 데이터프레임 생성
df = pd.DataFrame({
    '음식명': ['잡곡밥', '땅콩연근조림', '생선까스', '김치찌개', '된장국'],
    '가격': [5000, 6000, 7000, 8000, 9000]
})

# 특정 음식명만 포함하는 행을 필터링
filter_list = ['잡곡밥', '땅콩연근조림', '생선까스']
filtered_df = df[df['음식명'].isin(filter_list)]

filtered_df

변경 - 형식 - 변경 astype()

## 해당 칼럼의 dtype을 object --> float로 수정하기 : astype

danji_detail['임대보증금'] = danji_detail['임대보증금'].astype(float)
danji_detail['임대료'] = danji_detail['임대료'].astype(float)

## 확인하기 : info
danji_detail.info()

변경 - 형식 -  to_datetime, to_period, astype(str) 모두 사용

from datetime import datetime

df_participate['일자'] = pd.to_datetime(df_participate['일자'])
df_participate['월별'] = df_participate['일자'].dt.to_period('M')
df_participate['월별'] = df_participate['월별'].astype(str)
df_participate.drop(['ID','일자'], axis = 1, inplace = True)

추가 - 컬럼 - 새로운 컬럼(column)을 추가

import pandas as pd

# 예시 데이터프레임 생성
df = pd.DataFrame({
    '열1': [1, 2, 3],
    '열2': [4, 5, 6]
})

# 새로운 열 추가 및 모든 행에 동일한 텍스트 데이터 할당
df['새로운열'] = '텍스트 데이터'

print(df)

추가 - 컬럼 - 새로운 컬럼 추가

import pandas as pd

# 예시 데이터프레임 생성 (3행)
df = pd.DataFrame({
    '열1': [1, 2, 3],
    '열2': [4, 5, 6]
})

# 리스트를 새 열로 추가
df['새로운열'] = ['밥', '김치', '된장']

print(df)

추가 - 컬럼 - 컬럼 추가, 리스트 형태

# 리스트를 포함하는 새 열 추가
df_competition['새로운열'] = [[1, 2], [3, 4]]

추가 - 컬럼 - 컬럼 추가, 컬럼 뺄셈

df_competition['진행기간'] = pd.to_datetime(df_competition['종료시간']) - pd.to_datetime(df_competition['시작시간'])
df_competition.head(3)

추가 - 컬럼 - 컬럼 추가, 특정 값으로 채우기

bicycle_merge = df[['stationName','stationLatitude','stationLongitude']].copy()
bicycle_merge['분류명'] = '자전거 대여소'
bicycle_merge

데이터 전처리 삭제, 제거]

삭제 - 데이터 삭제 drop

titanic.drop(['SibSp','Parch'], axis=1, inplace= True)

삭제 - 컬럼 삭제

# 특정 열 삭제

데이터프레임.drop('열 이름', axis=1, inplace = True)

# 여러 열 삭제

삭제할 열 리스트 = [ '열 이름 1', '열 이름 2' ]

데이터프레임.drop( columns = 삭제할 열 리스트, axis =1, inplace = True )

삭제 - 데이터프레임의 중복 컬럼 삭제

# 'A' 컬럼 중 첫 번째만 선택
new_df = df.loc[:, ~df.columns.duplicated()]

삭제 -  행 - 삭제

# 특정 행 삭제
데이터프레임.drop( '행 이름', inplace = True )

# 여러 행 삭제
삭제할 행 리스트 [ '행 이름 1', '행 이름 2' ]

데이터프레임.drop( 삭제할 행 리스트, inplace = True )

# 조건 삭제
# 예시 : 30 이상인 행 삭제

데이터프레임 = 데이터프레임[ 데이터프레임['Age'] < 30]

삭제 - 행 - 컬럼명을 첫 행의 값으로 변경, 첫 행 삭제

import pandas as pd

# 데이터프레임 예시 생성
data = [["Column1", "Column2", "Column3"], [1, 2, 3], [4, 5, 6]]
df = pd.DataFrame(data)
display(df)

# 첫 번째 행을 컬럼으로 설정
df.columns = df.iloc[0]
display(df)

# 첫 번째 행 삭제
df = df.drop(df.index[0])
display(df)

삭제 -  행 - 첫 번째 행을 삭제

df.drop(df.index[0)

삭제 - 행 - 중복행 제거하기

df.drop_duplicates( subset=None, keep = 'first', inplace = True, ignore_index = False)

# subset : 중복 검사를 할 때 고려해야 할 열을 지정하는 매개변수

# keep = 'first' : 중복된 행 중 어떤 행을 유지할지 지정하는 매개변수

data_check[(data_check['기업명']=='(주)드림오브***')
	& (data_check['accNm']=='영업이익') ].drop_duplicates(subset = ['기업명'],keep='first'))

삭제 - 행 - 중복행 제거하기

데이터프레임.drop_duplicates( subset = None, keep='first',
                           inplace = True, ignore_index = False )

#  subset : 중복을 검사할 때 고려해야 할 열을 지정하는 매개변수
# keep = 'first' : 중복된 행 중 어떤 행을 유지할지 지정하는 매개변수

# ignore_index = Fasle : 이 매개변수가 'False'로 설정되면 인덱스(행 번호)를 재설정하지 않는다.

# 예시
df.drop_duplicates( subset  = ['B'], keep = 'first' , inplace = True)

삭제 - 행 - Null값( = 결측치 )이 포함된 행을 제거

df = df.dropna()

삭제 - 행 - 값이 0인 행을 제거

df = df.loc[(df !=0).all(axis=1)]

삭제 - 결측치 제거

# 하나라도 결측치 포함
df.dropna()

# 모든 데이터가 결측치
df.dropna(how = 'all' )

데이터 전처리 결측치] 

대체 - 결측치 대체 0으로 채우기

데이터프레임.fillna(0)

조회, 확인 - 결측치 확인 isnull()

# 결측치 확인
pop.isnull().sum()

조회, 확인 - 결측치가 존재하는 행 찾기

df.loc[df.isna() == True]

bicycle_20.loc[bicycle_20['성별'].isna() == True]

제거 - 결측치 제거 dropna()

# 결측치 제거
pop_test = pop.copy()

pop_test.dropna(subset = ['f_male'],axis=0, inplace = True)

제거 - Null값( = 결측치 )이 포함된 행을 제거

df = df.dropna()

제거 - 결측치 제외

# 하나라도 결측치 포함
df.dropna()

# 모든 데이터가 결측치
df.dropna(how = 'all' )