7주차: 데이터 클리닝, 시각화, 기술통계

import pandas as pd
import numpy as np
 
df = pd.read_csv("Datasets/BL-Flickr-Images-Book.csv")
df.head()

to_drop = ["Edition Statement", "Corporate Author", "Corporate Contributors",
           "Former owner", "Engraver", "Contributors", "Issuance type", "Shelfmarks"]
 
df.drop(to_drop, inplace=True, axis=1)   # 열 8개 삭제
df.set_index("Identifier", inplace=True) # Identifier 열을 행 인덱스로
df.head()

unwanted_characters = ["[", ",", "-"]
 
def clean_dates(item):                     # item = 행 하나 (Series)
    dop = str(item.loc["Date of Publication"])
    if dop == "nan" or dop[0] == "[":     # 비어 있거나 [로 시작하면 결측
        return np.nan
    for character in unwanted_characters:
        if character in dop:
            character_index = dop.find(character)
            dop = dop[:character_index]   # 그 문자 앞까지만 남김
    return dop
 
df["Date of Publication"] = df.apply(clean_dates, axis=1)

def clean_dates(dop):        # dop = 값 하나
    dop = str(dop)
    if dop.startswith("[") or dop == "nan":
        return "NaN"
    for character in unwanted_characters:
        if character in dop:
            character_index = dop.find(character)
            dop = dop[:character_index]
    return dop
 
df["Date of Publication"] = df["Date of Publication"].apply(clean_dates)

def clean_title(title):
    if title == "nan":
        return "NaN"
    if title[0] == "[":
        title = title[1: title.find("]")]      # [ ] 안쪽만
    if "by" in title:
        title = title[:title.find("by")]       # by 앞까지 (저자 부분 제거)
    elif "By" in title:
        title = title[:title.find("By")]
    if "[" in title:
        title = title[:title.find("[")]        # [ 앞까지
    title = title[:-2]                         # 끝 두 글자 제거 (". " 같은 꼬리)
    title = list(map(str.capitalize, title.split()))
    return " ".join(title)                     # 단어마다 첫 글자 대문자
 
df["Title"] = df["Title"].apply(clean_title)

pub = df["Place of Publication"]
df["Place of Publication"] = np.where(
    pub.str.contains("London"), "London",
    np.where(pub.str.contains("Oxford"), "Oxford",
        np.where(pub.eq("Newcastle upon Tyne"), "Newcastle-upon-Tyne",
                 df["Place of Publication"])))

df = pd.read_csv("property_data.csv")
 
df["ST_NUM"].isnull()
# → False, False, True, False, False, False, True, False, False   ← 빈칸과 NA는 자동 인식
 
df["NUM_BEDROOMS"]
# → '3', '3', NaN, '1', '3', NaN, '2', '--', 'na'                  ← --, na는 문자열로 남음
 
missing_values = ["n/a", "na", "--"]
df = pd.read_csv("property_data.csv", na_values=missing_values)
 
df["NUM_BEDROOMS"]
# → 3.0, 3.0, NaN, 1.0, 3.0, NaN, 2.0, NaN, NaN                    ← 모두 NaN, 열도 숫자형이 됨

cnt = 0
for row in df["OWN_OCCUPIED"]:
    try:
        int(row)                              # 숫자로 바뀌면 → Y/N이 아닌 이상값
        df.loc[cnt, "OWN_OCCUPIED"] = np.nan
    except ValueError:                        # "Y", "N"은 숫자로 못 바꿔 여기로
        pass
    cnt += 1
 
df["OWN_OCCUPIED"]
# → 'Y', 'N', 'N', NaN, 'Y', 'Y', NaN, 'Y', 'Y'   ← 12가 NaN이 됨

df.isnull().sum()
# → ST_NUM 2, ST_NAME 0, NUM_BEDROOMS 4, OWN_OCCUPIED 2
 
df["ST_NUM"] = df["ST_NUM"].fillna(125)               # 상수로 채우기
median = df["NUM_BEDROOMS"].median()                  # → 3.0
df["NUM_BEDROOMS"] = df["NUM_BEDROOMS"].fillna(median)  # 중앙값으로 채우기

import matplotlib.pyplot as plt
import numpy as np
 
x = np.linspace(0, 10, 100)     # 0~10을 100개 점으로 (5주차 linspace)
fig = plt.figure()
plt.plot(x, np.sin(x), "-")     # 실선
plt.plot(x, np.cos(x), "--")    # 파선
plt.show()

plt.plot(x, np.sin(x - 0), color="blue")          # 색 이름
plt.plot(x, np.sin(x - 1), color="g")             # 한 글자 색 코드 (green)
plt.plot(x, np.sin(x - 2), color="0.75")          # 0~1 사이 숫자 = 회색조
plt.plot(x, np.sin(x - 3), color="#FFDD44")       # 16진수 코드
plt.plot(x, np.sin(x - 4), color=(1.0, 0.2, 0.3)) # RGB 튜플 (0~1)
plt.plot(x, np.sin(x - 5), color="chartreuse")    # HTML 색 이름
plt.show()

plt.plot(x, x + 0, linestyle="solid")     # 실선      = "-"
plt.plot(x, x + 1, linestyle="dashed")    # 파선      = "--"
plt.plot(x, x + 2, linestyle="dashdot")   # 쇄선      = "-."
plt.plot(x, x + 3, linestyle="dotted")    # 점선      = ":"
plt.show()

plt.plot(x, np.sin(x))
plt.xlim(-1, 11)          # x축 범위
plt.ylim(-1.5, 1.5)       # y축 범위

plt.plot(x, np.sin(x))
plt.title("A Sine Curve")
plt.xlabel("x")
plt.ylabel("sin(x)")
plt.show()

plt.plot(x, np.sin(x), "-g", label="sin(x)")   # 초록 실선
plt.plot(x, np.cos(x), ":b", label="cos(x)")   # 파랑 점선
plt.axis("equal")                              # x, y 눈금 간격을 같게
plt.legend()                                   # label을 모아 범례 표시
plt.show()

from sklearn import datasets
import pandas as pd
import matplotlib.pyplot as plt
 
iris = datasets.load_iris()
labels = pd.DataFrame(iris.target)
labels.columns = ["labels"]
dataset = pd.DataFrame(iris.data)
dataset.columns = ["Sepal length", "Sepal width", "Petal length", "Petal width"]
data = pd.concat([dataset, labels], axis=1)   # 좌우로 붙이기 → 열 5개

print(dataset.describe())
#        Sepal length  Sepal width  Petal length  Petal width
# count    150.000000   150.000000    150.000000   150.000000
# mean       5.843333     3.057333      3.758000     1.199333
# std        0.828066     0.435866      1.765298     0.762238
# min        4.300000     2.000000      1.000000     0.100000
# 25%        5.100000     2.800000      1.600000     0.300000
# 50%        5.800000     3.000000      4.350000     1.300000
# 75%        6.400000     3.300000      5.100000     1.800000
# max        7.900000     4.400000      6.900000     2.500000
 
print(dataset.isnull().sum())   # → 네 열 모두 0

dataset.plot(kind="box", subplots=True, layout=(2, 2), sharex=False, sharey=False)
plt.show()

dataset.hist()
plt.show()

dataset.plot(kind="scatter", x="Sepal length", y="Sepal width")
plt.show()