「KLダイバージェンスとは何か？」を数式と具体例で解説【初級 深層学習講座】
Aru
Aru's テクログ（Aruaru0）
離散確率で頻出する二項定理って？
Aru
二項定理の公式
$$
\left( a+b \right)^n = \sum_{k=0}^{n} {}_n\mathrm{C}_ka^kb^{n-k}
$$
はじめに
この記事は、離散確率の学習で頻出する二項定理について、自身の復習をかねて書いたものになります。
二項定理とは、$\left( a+b \right)^n$を展開する時に非常に役に立ちます。上に書いたように離散確率を取り扱う場合に結構お世話になります。
二項定理
二項定理の公式自身は簡単で、以下のようなものになります。
二項定理の公式
$$
\left( a+b \right)^n = \sum_{k=0}^{n} {}_n\mathrm{C}_ka^kb^{n-k}
$$
${}_n\mathrm{C}_k$の部分は、パスカルの三角形と呼ばれるやつと同じです。
左辺から右辺への変形、右辺から左辺の変形のどちらもよく利用します。この変換は覚えておいて損はありません。
ちなみに、反復施行の確率の計算でも利用します。
あわせて読みたい
反復施行の確率
私が学習している範囲では、aとbのうち片方が１のパターンが結構多いです。この場合、式は以下のようになります。
$$
\left( 1+x \right)^n = \sum_{k=0}^{n} {}_n\mathrm{C}_kx^k
$$
この場合は、右辺から左辺への変換が比較的多いです。
微積分
また、これを微分したり積分したりすることがあります。
微分
$$
n\left( 1+x \right)^{n-1} = \sum_{k=0}^{n} {}_n\mathrm{C}_kkx^{k-1}
$$
積分
$$
\frac{1}{n+1}\left( 1+x \right)^{n+1} =
\sum_{k=0}^{n} {}_n\mathrm{C}_k \frac{1}{k+1}x^{k+1}
$$
微分
$\left(1+x \right)^n$の微分は、以下の合成関数の微分公式を使います。
合成関数の微分の公式
$$
{ f(g(x)) }’=f'(g(X))g'(x)
$$
$y = g(x) = 1+x$とすると、$f(g(x)) = (1+x)^ｎ= y^n = f(y)$となるので、
$$
\frac{df}{dy}=ny^{n-1}
$$
また、
$$
g'(X)=(1+x)’=1
$$
なので、
$$
{ f(g(x)) }’ = f'(g(X))g'(x) = ny^{n-1}\cdot1 = (1+x)^{n-1}
$$
となります。
積分
$\left(1+x \right)^n$の積分は、置換積分です。$u = 1+x$とおくと、$du=dx$なので、以下のようになります
$$
\int(1+x)^ndx=\int u^ndu=\frac{1}{u+1}u^{n+1}+定数
$$
となります。
ちなみに、直接は関係ないけど
$$
\lim_{n \to \infty}\left(1+\frac{1}{n} \right)^n
$$
は、ネイピア数($e$)になる｡これも結構使うので覚えておくと良いでしょう。
ABOUT ME
専門分野は並列処理・画像処理・機械学習・ディープラーニング。プログラミング言語はC, C++, Go, Pythonを中心として色々利用。現在は、Kaggle, 競プロなどをしながら悠々自適に活動中
