クロスエントロピーに関する不等式, ガンマ・ベータ関数・二項係数に関する不等式
確率密度関数 P(x), Q(x)に関し、クロスエントロピー
を考えます。
1) 定理
と置くと、
が可積分となるsに対し、
s>0ならば
s≦0ならば
.
が成り立つ。即ち
<0 <なるに対し、
eq(1)
さらに、で、
.
特に、P(x)=Q(x)のときは、
<0 <に対し、
が成り立つ。
証明
であり、
イェンセンの不等式を用いると、
両辺の対数を取り-sで除算することにより、不等式を得る。sの符号により、不等式が反転することに注意。
は、s=0で0になるので、
は、の極限で
のsに関する微分に等しくなります。
この式をsに関して微分し、s=0と置くと、
に等しくなるので、示せました。
定理から、s>-1に対し、
eq(2)
が成り立つので、この式を用いていくつかの不等式を示します。
系1 ガンマ関数に関する不等式
x,y > 0に対し、
が成り立つ。
特にx=n(自然数)のとき、
H_n は調和数、はオイラー定数である。
証明:
eq(2)をガンマ分布に適用すると、
x>0, に対し、
.
>0に対して、 の計算を実行すると、
と変数変換し、
ガンマ分布のエントロピー
をeq(2)に代入すると、s>-1に対し、
が成り立ちます。
はディガンマ関数です。
, とおくと、
となるので、x,y>0に対し、
となります。
特にxが自然数nのとき、
系2 二項係数に関する不等式
s>-1で
が成り立つ。
証明:
eq(2) を二項分布に適用し、と置くと、
二項分布のエントロピー を代入し、
s>-1に対して、
系3 ベータ関数に関する不等式
s>-1に対し、
証明:
ベータ分布に対し、
0から1まで積分して、
を得ます。
ベータ分布のエントロピー をeq(2)に代入し、s>-1に対して
を得ます。