欠損値の処理【python前処理覚書】

# df:データフレーム
display(df.isnull().sum())

# 出力結果
生存    0
等室    0
性別    0
年齢  177
兄弟配偶者    0
両親子供数    0
料金    0
乗船港コード    2
男女子供    0
成人男子    0
デッキ    688
独身    0
dtype: int64

# 欠損値の削除：dropna関数を使う
# 乗船港コードの欠損値は 2 しかないので、行ごと削除する。

df = df.dropna(subset = ['乗船コード'])

# 欠損値以外の数値データの平均値で代用する

# 平均値の計算
age_average = df['年齢'].mean()

# fillna関数の利用
df = df.fillna({'年齢': age_average})

# 欠損を意味するダミーコード'N'を代入する

df = df.replace({'デッキ': {np.nan: 'N'}})

# 予め nuppy を np としてインポートしておくこと

# 辞書 mf_map の定義
mf_map = {'male': 1, 'female': 0}

# df1に値渡しをしてからmap関数を利用して数値化
import copy
df1 = df.copy()
df1['性別'] = df1['性別'].map(mf_map)

#結果確認
display(df1.head())

# df 対象データフレーム
# column対象列

def enc(df, column):
    # One Hot Vector生成
    df_dummy = pd.get_dummies(df[column], prefix=column)
    # 元列の削除
    df_drop = df.drop([column], axis=1)
    # 削除したデータフレームと、One Hot生成列を連結
    df1 = pd.concat([df_drop,df_dummy], axis=1)
    return df1

# 使用例
df10 = enc(df8, '男女子供')

# standardization

df13 = df12.copy()
from sklearn.preprocessing import StandardScalar
stdsc = StandardScaler()
df13[['年齢', '料金']] = stdsc.fit_transform(df13[['年齢', '料金']])

# 結果確認
display(df13.head())