PyCaretの前処理（Preprocess）のまとめ｜欠損値の補完〜特徴量エンジニアリング

PyCaretの前処理はかなり充実しています。欠損値の補完、正規化、One-Hotエンコーディングなどに加えて、特徴量エンジニアリングやPCA特徴量の計算なども行うことが可能です。

この記事では、pycaretの前処理にフォーカスして解説します。とりあえず、特徴量エンジニアリングを行う場合にも利用できそうです。

はじめに

最近、Kaggleで検討用にPyCaretの前処理をいろいろ使ってみました。実際に使ってみると思ったよりいろいろな前処理ができることに気づいたので、この記事では、PyCaretの前処理にフォーカスを当てて説明を行いたいと思います。

前処理・特徴量エンジニアリングに関しては以下の記事も参考にしてください

機械学習の前処理・特徴量エンジニアリングの手法を解説【Python】

機械学習とデータ分析の前処理 | scikit-learnを使ったデータのスケーリング方法

前処理の記述方法

前処理はsetup関数の引数（パラメータ）として設定します。...の部分に、パラメータを追加することで、前処理を行うことが可能になります。

clf = setup(data=train, target = 'Class', .... )

setupについては、以下の記事を参考にしてください。

PyCaretの基本的な使い方についてはこちら

機械学習の初期検討を効率化｜PyCaretを利用したモデル選択の自動化

データの準備

“Data Preparation”に分類される前処理になります。

欠損値

データに含まれる欠損値を、どのように処理するかを指定できます。

設定例

# load dataset
from pycaret.datasets import get_data
hepatitis = get_data('hepatitis')
# init setup
from pycaret.classification import *
clf1 = setup(data = hepatitis, target = 'Class', imputation_type="iterative")
display(get_config('X'))
display(get_config('X_transformed'))

データ型の指定

PyCaretでは自動的に各列のデータ型を検出しますが、指定することも可能です。データ型の指定は、データ型を明示的に指定する場合に利用します

create_date_columnsは使ったことがないので挙動がイマイチ不明です。

設定例

# load dataset
from pycaret.datasets import get_data
hepatitis = get_data('hepatitis')
# init setup
from pycaret.classification import *
clf1 = setup(data = hepatitis, target = 'Class', categorical_features = ['SEX'])
display(get_config('X'))
display(get_config('X_transformed'))

カテゴリ変数をOne-Hotエンコード

カテゴリ列を、One-Hotエンコードする場合の指定です

カテゴリ変数をOrdinalエンコード

カテゴリ列をOrginalエンコードする場合の指定です。

設定例

# load dataset
from pycaret.datasets import get_data
employee = get_data('employee')

# init setup
from pycaret.classification import *
clf1 = setup(data = employee[['salary', 'left']], target = 'left', ordinal_features = {'salary' : ['low', 'medium', 'high']})

display(get_config('X'))
display(get_config('X_transformed'))

公式ドキュメント通りに設定するのですが、私の環境おではOne-hotエンコーディングされてしまいます。max_encoding_oheを2にすると動作しますが、それはそれで問題・・・バージョンの問題？

ターゲットの不均衡を補正

目的変数の分布が不均衡を補正する場合に指定します

SMOTEについてはこちら

SMOTE:不均衡データをオーバーサンプリングして数を揃える手法

外れ値除去

外れ値を除去する場合に指定します

スケール変換

“Scale and Transform”に分類される機能です

Normalize

正規化を行う場合に指定します

設定例

# load dataset
from pycaret.datasets import get_data
pokemon = get_data('pokemon')

# init setup
from pycaret.classification import *
clf1 = setup(data = pokemon, target = 'Legendary', normalize = True)

display(get_config('X'))
display(get_config('X_transformed'))

カテゴリ変数も正規化されてしまうのが少し気になります・・・

分布の変換（説明変数）

説明変数の特徴量の分布が正規分布に近くなるように変換したい場合に指定します

Yeo-Johnson変換についてはこちら

データの分布を正規分布に近づける（Box-Cox変換、Yeo-Johnson変換）|予測制度向上を目指して

分布の変換（目的変数）

目的変数の分布を正規分布に近くなるように変換します。regression（回帰）のみ利用できます。

特徴量エンジニアリング

特徴量エンジニアリングに関するパラメータです。新しい特徴量を作成できます。

x*y, x/yみたいな特徴量も作れたみたいですが、現在のバージョンでは作れなくなっているみたいです

多項式特徴量の追加

多項式特徴を追加したい場合に設定します。多項式特徴とは、a列とb列がある場合a^2, a*b, b^2などになります。

グループ特徴量の追加

データセットの列に相互に関連する特徴が含まれている場合に、グループの平均、中央値、分散、標準偏差などを新しい特徴量として追加します。

グループ特徴量を使うケースとしては、1月〜12月の販売数などが列として並んでいる場合に、月の平均などを特徴量として追加したい場合などです。

Bin Numeric特徴量の追加

特徴量を範囲で区切ってカテゴリ値に変換したい場合などに指定します。例えば、「年齢」をグループに分けてカテゴリ化したい場合などに使います。グループはK平均法で決定します。

特徴量選択

特徴量の選択

特徴量を選択する場合に指定します

類似した特徴量を除外

相関が高い特徴量を除外します。一部の推論器では非常に有効です

PCA特徴量

主成分分析（PCA）特徴量による削減を行います

低分散の特徴量を除外

偏りが大きく、分散の小さい特徴量を削除したい場合に指定する

分散が0ということは、全ての行が同じ値の列ということになります。推論の役に立たないのは直感的にわかるかと思います

番外（PyCaretで前処理だけ行わせる）

テクニックとして、PyCaretのsetupを使ってデータの前処理だけ行うことも可能です。

PyCaretのsetupで変換した結果は、get_config(取り出したいパラメータ)で取り出すことができます。

別のデータに前処理をしたい場合には、以下のような感じでいけると思います。

pre = get_config('pipeline')
X_trans = pre.transform(X)

まとめ

「PyCaretに組み込めないモデルを使いたいけど、前処理だけはPyCaretで楽したい」という場合があります。前処理だけ使うというのもアリだと思います。