[심화세션]_1주차

Posted Sep 17, 2024 Updated Sep 19, 2024

By JINGI CHAE

22 min read

사전 학습 정리

교재

주교재: [파이썬 데이터 분석 실무 테크닉 100]
부교재: [통계101 x 데이터 분석]

주교재

[1장] 웹에서 주문 수를 분석하는 테크닉 10

1. 데이터를 읽어들이자

  
# pandas 임포트, 변수에 파일 저장, 데이터의 첫 5행 표시
import pandas as pd
customer_master = pd.read.csv('customer_master.csv')
customer_master.head()

item_master = pd.read.csv('item_master.csv')
item_master.head()

transaction_1 = pd.read.csv('transaction.csv')
transaction_1.head()

transaction_detail_1 = pd.read.csv('transaction_detail_1.csv')
transaction_detail_1.head()

2. 데이터 결합(union)

  
transaction_2 = pd.read_csv('transaction_2.csv')
transaction = pd.concat([transaction_1, transaction_2], ignore_index = True)
transaction.head()
# .head()로는 제대로 결합됐는지 알 수 없음

print(len(transaction_1))
print(len(transaction_1))
print(len(transaction_1))
# 5000 1786 6786  -> 제대로 유니언된 것을 확인할 수 있다. 

3. 매출 데이터끼리 결합(join)

transaction_detail 기준, transaction의 payment_date, customer_id 칼럼 추가

공통 데이터 칼럼: transaction_id

  
join_data = pd.merge(transaction_detail, transaction[["transaction_id", "payment_date", "customer_id"], on "transaction_id", how = "left"])
join_data.head()

  
print(len(transaction_detail))
print(len(transaction))
print(len(join_data))
# 7144 6786 7144

4. 마스터데이터 결합(조인)

  
join_data = pd.merge(join_data, customer_master, on = "customer_id", how = "left")
join_data = pd.merge(join_data, item_master, on = "item_id", how = "left")
join_data.head()

5. 필요한 데이터 칼럼 만들기

매출 = quantity * item_price

  
join_data["price"] = join_data["quantity"] * join_data["item_price"]
join_data[["quantity", "item_price", "price"]].head()

6. 데이터 검산

  
print(join_data["price"].sum())
print(transaction["price"].sum())
# 971135000 971135000

join_data["price"].sum() == transaction["price"].sum()
# True

틀린 데이터로 분석하지 않도록 데이터 가공 후 검산은 항상 신경 써야 한다.

7. 통계량 파악

isnull(): 결손치가 True/False로 반환
.isnull().sum(): 결손치 True 개수 합계

  
print(join_data["payment_date"].min())
print(join_data["payment_date"].max())
# 2019-02-01  2019-07-31

8. 월별 데이터 집계

과거 몇 년 간의 데이터에서 특정 범위 데이터만 추출해 월별로 매출 증감 파악

payment_date 데이터형 확인

payment_date가 object형임을 확인

  
join_data["payment_date"] = pd.to_datetime(join_data["payment_date"])
join_data["payment_month"] = join_data["payment_date"].dt.strftime("%Y%m")
join_data[["payment_date", "payment_month"].head()]

datetime의 dt를 사용해 년, 월 추출 & strftime 사용해 연월 작성

  
join_data.groupby("payment_month").sum()["price"]

groupby: 집계 칼럼(payment_month)과 집계 방법(sum) 기술, price만 표시하기 위해 칼럼 지정

9. 월별, 상품별 데이터 집계

groupby를 이용해 월별, 상품별 매출의 합계, 수량을 표시해보자.

groupby에서 출력하고 싶은 칼럼이 여러 개 -> 리스트형으로 지정

pivot_table을 사용해 다시 집계

pivot_table: 행, 칼럼 지정 가능. 행에는 상품명, 칼럼에는 월이 오게 index & columns 지정. values에는 집계하고 싶은 칼럼(price, quantity), aggfunc에는 집계 방법(sum)을 지정

10. 상품별 매출 추이 가시화

가시화 과정:

데이터 집계
집계된 데이터를 이용해 그래프 그리기

[2장] 대리점 데이터를 가공하는 테크닉 10

손으로 데이터를 입력하다 보면 입력 실수나 데이터 누락 등 ‘오류’가 많이 포함되기 마련이다.

11. 데이터 읽어 들이기

  
import pandas as pd
uriage_data = pd.read_csv("uriage.csv")
uriage_data.head()

kokyaku_data = pd.read_excel("kokyaku_daicho.xlsx")
kokyaku_data.head()

데이터의 정합성: 입력 오류나 표기 방법의 차이가 부정합을 일으키는 경우를 말한다.

12. 데이터의 오류 살펴보기

공백이 포함되거나 알파벳 대문자와 소문자가 섞여있는 경우, 시스템은 이를 다른 상품으로 집계하여 정확한 집계를 할 수 없다.

13. 데이터에 오류가 있는 상태로 집계하기

  
uriage_data["purchase_date"] = pd.to_datetime(uriage_data["purchase_date"])
uriage_data["purchase_month"] = uriage_data["purchase_date"].dt.strftime("%Y%m")
res = uriage_data.pivot_table(index="purchase_month", columns="item_name", aggfunc="size", fill_value=0)
res

데이터에 오류가 있는 상태로 집계 및 분석을 하면 전혀 의미 없는 결과가 나온다.

14. 상품명 오류 수정

  
print(len(pd.unique(uriage_data["item_name"])))
# 99

26개 상품이 99개로 늘어나 있는 것을 확인할 수 있다.

  
uriage_data["item_name"] = uriage_data["item_name"].str.upper()
uriage_data["item_name"] = uriage_data["item_name"].str.replace("　", "")
uriage_data["item_name"] = uriage_data["item_name"].str.replace(" ", "")
uriage_data.sort_values(by=["item_name"], ascending=True)

  
print(pd.unique(uriage_data["item_name"]))
print(len(pd.unique(uriage_data["item_name"])))

# ['상품A' '상품S' '상품Z' ``` '상품T' '상품J']
# 26

15. 금액 결측치 수정

  
uriage_data.isnull().any(axis=0)

item_price만 결측치가 있는 것을 확인 가능

  
flg_is_null = uriage_data["item_price"].isnull()
for trg in list(uriage_data.loc[flg_is_null, "item_name"].unique()):
    price = uriage_data.loc[(~flg_is_null) & (uriage_data["item_name"] == trg), "item_price"].max()
    uriage_data["item_price"].loc[(flg_is_null) & (uriage_data["item_name"]==trg)] = price
uriage_data.head()

먼저, item_price 중 결측치가 있는 곳을 조사한다. 그리고 fig_is_null 변수에 어떤 행에 결측치가 있는지 저장한다.

list(): 변수의 값을 리스트 형식으로 변환
loc 함수: 조건에 일치하는 데이터 추출
uriage_data.loc[(~flg_is_null) & (uriage_data[“item_name”] == trg), “item_price”].max(): 결측치가 있는 상품의 제대로 된 금액 데이터 행을 loc로 찾고 가져온다.
~: 부정 연산자, ~flg_is_null은 flg_is_null == False 와 같은 의미

데이터가 제대로 수정되었는지 확인

  
uriage_data.isnull().any(axis=0)

  
for trg in list(uriage_data["item_name"].sort_values().unique()):
    print(trg + "의최고가：" + str(uriage_data.loc[uriage_data["item_name"]==trg]["item_price"].max()) 
          + "의최저가：" + str(uriage_data.loc[uriage_data["item_name"]==trg]["item_price"].min(skipna=False)))

16. 고객 이름 오류 수정

  
kokyaku_data["고객이름"] = kokyaku_data["고객이름"].str.replace("　", "")
kokyaku_data["고객이름"] = kokyaku_data["고객이름"].str.replace(" ", "")
kokyaku_data["고객이름"].head()

이름 입력 오류는 잘못 입력한건지 다른 사람인지를 판단할 수 없기에 단순히 프로그램으로 수정할 수 없다. 같은 이름의 데이터가 존재한다면 등록일, 생년월일 등 다른 정보를 이용해서 구분해야 한다.

17. 날짜 오류 수정

  
flg_is_serial = kokyaku_data["등록일"].astype("str").str.isdigit()
flg_is_serial.sum()
# 22

등록일의 데이터타입이 날짜가 아니라 숫자인 데이터가 22개임을 확인할 수 있다.

  
# 숫자를 날짜로 변경
fromSerial = pd.to_timedelta(kokyaku_data.loc[flg_is_serial, "등록일"].astype("float"), unit="D") + pd.to_datetime("1900/01/01")
fromSerial

pd.timedelta() 함수를 이용해 숫자를 날짜로 변환. loc()를 이용해 flg_is_serial 조건으로 데이터 추출하고 날짜 변경.

엑셀에서 날짜가 2일 어긋나게 변환됨을 기억할 것.(날짜 데이터 출발 숫자와 2/29의 차이)

  
fromString = pd.to_datetime(kokyaku_data.loc[~flg_is_serial, "등록일"])
fromString

슬래시로 구분된 서식을 하이픈으로 구분된 서식으로 통일. 숫자를 날짜로 수정한 데이터와 서식을 변경한 데이터를 결합해 데이터 갱신

  
kokyaku_data["등록일"] = pd.concat([fromSerial, fromString])
kokyaku_data

숫자를 날짜로 수정한 데이터 fromSerial과 서식을 변경한 데이터 fromString을 concat으로 결합, 원래 ‘등록일’에 대입해 갱신.

  
# 등록월 집계 결과
kokyaku_data["등록연월"] = kokyaku_data["등록일"].dt.strftime("%Y%m")
rslt = kokyaku_data.groupby("등록연월").count()["고객이름"]
print(rslt)
print(len(kokyaku_data))

수정한 날짜에서 ‘등록 연월’을 작성하고 groupby()로 집계

  
# 등록일 칼럼에 잔여 숫자 데이터 확인

flg_is_serial = kokyaku_data["등록일"].astype("str").str.isdigit()
flg_is_serial.sum()
# 0

18. 고객 이름을 키로 두 개의 데이터 결합(join)

데이터 분석을 위해 매출 이력과 고객 정보를 결합한 데이터를 작성하자.

1장에선 정합성이 있는 데이터였기에 ID와 같은 공통키로 결합이 가능했지만, 여기서는 두 개 데이터의 서로 다른 열을 지정해 결합한다.

  
join_data = pd.merge(uriage_data, kokyaku_data, left_on="customer_name", right_on="고객이름", how="left")
join_data = join_data.drop("customer_name", axis=1)
join_data

이렇게 데이터를 가공하여 분석에 적합한 형태가 되었다. 이런 데이터 가공을 ‘데이터 정제’라고도 한다.

19. 정제한 데이터를 덤프

덤프 = 출력

  
# 마지막 수정: 칼럼 배치 조정 -> join_data에서 임의로 지정

dump_data = join_data[["purchase_date", "purchase_month", "item_name", "item_price", "고객이름", "지역", "등록일"]]
dump_data

  
# dump_data를 to_csv()를 통해 파일로 출력
dump_data.to_csv("dump_data.csv", index=False)

20. 데이터 집계

  
# 데이터 불러오기
import_data = pd.read_csv("dump_data.csv")

# purchase_month를 세로축으로 집계

# 상품별로 집계
byItem = import_data.pivot_table(index="purchase_month", columns="item_name", aggfunc="size", fill_value=0)

# 매출 금액 집계
byPrice = import_data.pivot_table(index="purchase_month", columns="item_name", values="item_price", aggfunc="sum", fill_value=0)

# 고객 이름 별 구입 수 집계
byCustomer = import_data.pivot_table(index="purchase_month", columns="고객이름", aggfunc="size", fill_value=0)

# 지역 별 구입 수 집계
byRegion = import_data.pivot_table(index="purchase_month", columns="지역", aggfunc="size", fill_value=0)
byRegion

# 집계 기간에 구매 이력이 없는 사용자 확인
away_data = pd.merge(uriage_data, kokyaku_data, left_on="customer_name", right_on="고객이름", how="right")
away_data[away_data["purchase_date"].isnull()][["고객이름", "등록일"]]
# 집계 기간 내에 구매하지 않은 고객은 purchase_date가 null로 처리 
# -> null 값 조사로 구매 이력 없는 사용자 확인 가능

부교재

[1장] 통계학이란? :데이터 분석에서 통계학의 역할

1.1 데이터를 분석하다

데이터는 수치의 모음으로, 막연히 바라보기만 해서는 무엇인지 제대로 알 수 없다.

데이터 분석의 목적
데이터 요약: ex) 평균
대상 설명: 대상이 가진 성질과 관계성을 밝히고, 이해한다
미지의 데이터 예측

cf.

실험군: 처리를 한 집단(신약 투여집단)
대조군: 비교를 위한 집단(위약 투여집단)
단일맹검법: 피험자에게 어느 약인지 알리지 않고 실험
이중맹검법: 연구자가 무의식적으로 실험에 영향을 줄 가능성을 배제하기 위해 연구자도 어느 약인지 모른 채 실험

1.2 통계학의 역할

통계학은 데이터 퍼짐 정도가 클수록 힘을 발휘한다

통계학은 데이터 퍼짐(산포)이나 불확실성에 대처하는 방법으로 확률론을 제공한다.

1.3 통계학의 전체 모습

기술통계(descriptive statistics): 수집한 데이터를 정리하고 요약하는 방법
추론통계(inferential statistics): 수집한 데이터로부터 데이터의 발생원 추정하는 방법
확률 모형: 대상의 성질 자체는 관찰도, 다루기도 어렵다. 이에 데이터가 비교적 단순한 확률 장치에서 생성되었다 가정하는 것을 확률 모형이라 부른다.
통계적 추론(statistical inference): 데이터에서 가정한 확률 모형의 성질 추정
가설 검정(statistical test): 세운 가설과 얻은 데이터가 얼마나 들어맞는지 평가, 가설 채택 여부 판단 방법

[2장]

2.1 데이터 분석의 목적과 알고자 하는 대상

구체적인 데이터 분석 목적을 정하는 것이 중요한 첫 단계다.
다음으로는 알고자 하는 대상을 명확히 하는 것이 중요하다.

2.2 모집단

‘지금 알고자 하는 대상은 무엇인지’ 그리고 ‘무엇을 모집단으로 설정할 것인지’의 문제에는 항상 주의를 기울여야 한다.

모집단 크기: 모집단에 포함된 요소(element)의 수
유한모집단: 모집단 중 한정된 요소만 포함 (ex. 1반 vs 2반)
무한모집단: 모집단 중 포함된 요고의 개수가 무한 (ex. 주사위, 신약 개발)

2.3 모집단의 성질을 알다

모집단의 성질을 알 수 있다면 대상을 설명하거나 이해할 수 있고, 미지의 데이터를 예측할 수도 있다.

모집단의 성질을 구하기 위한 방법:

전수조사: 분석할 데이터 = 모집단. 데이터 그 자체의 특징을 기술하고 요약하는 기술통계(descriptive statistics). 현실적인 제약으로 실현 불가능한 경우가 대부분.
표본 조사: 모집단의 일부를 분석하여 모집단 전체 성질 추정하는 추론 통계(inferential statistics). 표본/표본추출/표본조사 (ex. 선거 출구조사, 시청률)
표본 크기 = 표본의 개수 = 샘플 수