PyCaretの前処理チートシート（欠損値補完から特徴量エンジニアリングまで）

PyCaretは機械学習を自動化するツールですが、実は前処理（Preprocess）はかなり充実しています。PyCaretは、欠損値の補完、One-Hotエンコーディング、正規化、スケール変換、特徴量エンジニアリング、特徴量選択、PCA特徴量計算など、多岐にわたる前処理を備えています。本記事では、PyCaretの前処理機能をまとめた「チートシート」として、実際の使い方やポイントを解説します。

はじめに

機械学習の初手として、PyCaretを頻繁に利用しています。PyCaretは自動モデル作成機能などが注目されがちですが、実はその前処理機能も非常に充実しています。

この記事では、PyCaretの前処理機能に焦点を当て、要点や手法を簡潔にまとめた参考資料を目指して作成しました。

PyCaretの「前処理チートシート」として活用してください。

前処理・特徴量エンジニアリングに関しては以下の記事も参考にしてください

機械学習のための前処理＆特徴量エンジニアリングの手法【Python】

機械学習とデータ分析の前処理 | scikit-learnを使ったデータのスケーリング方法

前処理の追加の方法

前処理はsetup関数の引数（パラメータ）として設定します。...の部分に、パラメータを追加することで、前処理を行うことが可能になります。

clf = setup(data=train, target = 'Class', .... )

setupについては、以下の記事を参考にしてください。

PyCaretの基本的な使い方についてはこちら

PyCaretで機械学習モデル選択を自動化し初期検討を効率化する方法

前処理はsetup関数のパラメータで追加します。以下、前処理と追加するためのパラメータやオプションについて解説します。

データの準備

“Data Preparation”に分類される前処理になります。

欠損値

データに含まれる欠損値を、どのように処理するかを指定できます。

設定例

# load dataset
from pycaret.datasets import get_data
hepatitis = get_data('hepatitis')
# init setup
from pycaret.classification import *
clf1 = setup(data = hepatitis, target = 'Class', imputation_type="iterative")
display(get_config('X'))
display(get_config('X_transformed'))

前処理を追加する場合、setupの引数の上記のようにパラメータを追加します。

データ型の指定

PyCaretでは自動的に各列のデータ型を検出しますが、指定することも可能です。データ型の指定は、データ型を明示的に指定する場合に利用します

create_date_columnsは使ったことがないので挙動がイマイチ不明です。

設定例

# load dataset
from pycaret.datasets import get_data
hepatitis = get_data('hepatitis')
# init setup
from pycaret.classification import *
clf1 = setup(data = hepatitis, target = 'Class', categorical_features = ['SEX'])
display(get_config('X'))
display(get_config('X_transformed'))

カテゴリ変数をOne-Hotエンコード

カテゴリ列を、One-Hotエンコードする場合の指定です

カテゴリ変数をOrdinalエンコード

カテゴリ列をOrginalエンコードする場合の指定です。

設定例

# load dataset
from pycaret.datasets import get_data
employee = get_data('employee')

# init setup
from pycaret.classification import *
clf1 = setup(data = employee[['salary', 'left']], target = 'left', ordinal_features = {'salary' : ['low', 'medium', 'high']})

display(get_config('X'))
display(get_config('X_transformed'))

公式ドキュメント通りに設定するのですが、私の環境おではOne-hotエンコーディングされてしまいます。max_encoding_oheを2にすると動作しますが、それはそれで問題・・・バージョンの問題？

ターゲットの不均衡を補正

目的変数の分布が不均衡を補正する場合に指定します

SMOTEについてはこちら

データの不均衡をオーバーサンプリングで解消するSMOTEの解説と実装例

外れ値除去

外れ値を除去する場合に指定します

スケール変換

“Scale and Transform”に分類される機能です

Normalize

正規化を行う場合に指定します

設定例

# load dataset
from pycaret.datasets import get_data
pokemon = get_data('pokemon')

# init setup
from pycaret.classification import *
clf1 = setup(data = pokemon, target = 'Legendary', normalize = True)

display(get_config('X'))
display(get_config('X_transformed'))

カテゴリ変数も正規化されてしまうのが少し気になります・・・

分布の変換（説明変数）

説明変数の特徴量の分布が正規分布に近くなるように変換したい場合に指定します

Yeo-Johnson変換についてはこちら

データの分布を正規分布に近づける（Box-Cox変換、Yeo-Johnson変換）|予測制度向上を目指して

分布の変換（目的変数）

目的変数の分布を正規分布に近くなるように変換します。regression（回帰）のみ利用できます。

特徴量エンジニアリング

特徴量エンジニアリングに関するパラメータです。新しい特徴量を作成できます。

x*y, x/yみたいな特徴量も作れたみたいですが、現在のバージョンでは作れなくなっているみたいです

多項式特徴量の追加

多項式特徴を追加したい場合に設定します。多項式特徴とは、a列とb列がある場合a^2, a*b, b^2などになります。

グループ特徴量の追加

データセットの列に相互に関連する特徴が含まれている場合に、グループの平均、中央値、分散、標準偏差などを新しい特徴量として追加します。

グループ特徴量を使うケースとしては、1月〜12月の販売数などが列として並んでいる場合に、月の平均などを特徴量として追加したい場合などです。

Bin Numeric特徴量の追加

特徴量を範囲で区切ってカテゴリ値に変換したい場合などに指定します。例えば、「年齢」をグループに分けてカテゴリ化したい場合などに使います。グループはK平均法で決定します。

特徴量選択

特徴量の選択

特徴量を選択する場合に指定します

類似した特徴量を除外

相関が高い特徴量を除外します。一部の推論器では非常に有効です

PCA特徴量

主成分分析（PCA）特徴量による削減を行います

低分散の特徴量を除外

偏りが大きく、分散の小さい特徴量を削除したい場合に指定する

分散が0ということは、全ての行が同じ値の列ということになります。推論の役に立たないのは直感的にわかるかと思います

番外（PyCaretで前処理だけ行わせる）

テクニックとして、PyCaretのsetupを使ってデータの前処理だけ行うことも可能です。

PyCaretのsetupで変換した結果は、get_config(取り出したいパラメータ)で取り出すことができます。

別のデータに前処理をしたい場合には、以下のような感じでいけると思います。

pre = get_config('pipeline')
X_trans = pre.transform(X)

まとめ

「PyCaretに組み込めないモデルを使いたいけど、前処理だけはPyCaretで楽したい」という場合があります。前処理だけ使うというのもアリだと思います。

ある/Aru

IT＆機械学習エンジニア/ファイナンシャルプランナー（CFP®)

XContact

専門分野は並列処理・画像処理・機械学習・ディープラーニング。プログラミング言語はC, C++, Go, Pythonを中心として色々利用。現在は、Kaggle, 競プロなどをしながら悠々自適に活動中