趣味の研究

趣味の数学を公開しています。初めての方はaboutをご覧ください。

クロスエントロピーに関する不等式, ガンマ・ベータ関数・二項係数に関する不等式

確率密度関数 P(x), Q(x)に関し、クロスエントロピー

-\int P(x)\log(Q(x) )=E_P[-\log(Q(x)]を考えます。

 

1) 定理

 

G(s)=-\frac{1}{s}\log(E_P[Q(x)^s])と置くと、

Q(x)^{s}が可積分となるsに対し、

s>0ならば

G(s)\leq E_P[-\log(Q(x) )]

s≦0ならば

G(-s)\geq E_P[-\log(Q(x) )].

が成り立つ。即ち

 s_2<0 <s_1なるs_1,s_2に対し、

G(s_1)\leq E_P[-\log(Q(x) )]\leq G(s_2)    eq(1)

さらに、s\rightarrow 0で、

G(s)\rightarrow E_P[-\log(Q(x) )].

 

特に、P(x)=Q(x)のときは、

 s_2<0 <s_1に対し、G(s_1)\leq H(X) \leq G(s_2)   

が成り立つ。

 

証明

E_P[Q(x)^{s}]=E_P[\exp(s\log(Q(x) )]であり、

イェンセンの不等式を用いると、

E_P[\exp(s\log(Q(x) )]\geq\exp(-sE_P[-\log(Q(x) )])

両辺の対数を取り-sで除算することにより、不等式を得る。sの符号により、不等式が反転することに注意。

 

\log(E_P[Q(x)^s])は、s=0で0になるので、

G(s)=-\frac{1}{s}\log(E_P[Q(x)^s])は、s\rightarrow 0の極限で

\log(E_P[Q(x)^s])のsに関する微分に等しくなります。

この式をsに関して微分し、s=0と置くと、

E_P[-\log(Q(x) )]に等しくなるので、示せました。

 

 

定理から、s>-1に対し、

E_P[P(x)^s ]\geq \exp(-sH(X) ) eq(2)

が成り立つので、この式を用いていくつかの不等式を示します。

 

系1 ガンマ関数に関する不等式

x,y > 0に対し、

\frac{\Gamma(y+1)}{\Gamma(x+1)} \geq \exp\{ (y-x)(\psi(x)-1-\frac{1}{x} )\}{(\frac{y}{x})}^{y+1}

が成り立つ。

特にx=n(自然数)のとき、

\Gamma(y+1) \geq {n!}\exp( (y-n)(H_{n-1}-1-\gamma) ){(\frac{y}{n})}^{y+1}

H_n は調和数H_n=\sum_{k=1}^{n}\frac{1}{k}\gammaオイラー定数である。

 

証明:

eq(2)をガンマ分布に適用すると、

x>0, \theta=1に対し、

P(x)=\frac{1}{\Gamma(k)}x^{k-1}\exp(-x).

1+s>0に対して、 E_P[P(x)^s]の計算を実行すると、 

E_P[P(x)^s]=\int_0^{\infty} dx P(x)^{s+1}

 u=(1+s)xと変数変換し、

\frac{1}{\Gamma(k)^{1+s}}\int_0^{\infty} du u^{(k-1)(1+s)}\exp(-u)=\frac{1}{\Gamma(k)^s}\frac{\Gamma( (k-1)(1+s)+1)}{\Gamma(k)}

ガンマ分布のエントロピー

H(X)=k+\log(\Gamma(k) )+(1-k)\psi(k) をeq(2)に代入すると、s>-1に対し、

\frac{\Gamma( (k-1)(1+s)+1)}{\Gamma(k)}\geq\exp(-sk+s(k-1)\psi(k) )(1+s)^{(k-1)(1+s)+1} が成り立ちます。

 \psi はディガンマ関数です。

 x=k-1, y+1=(k-1)(1+s)+1とおくと、

s=\frac{y}{x}-1となるので、x,y>0に対し、

\frac{\Gamma(y+1)}{\Gamma(x+1)} \geq \exp\{ (y-x)(\psi(x)-1-\frac{1}{x} )\}{(\frac{y}{x})}^{y+1}

となります。

特にxが自然数nのとき、

\Gamma(y+1) \geq {n!}\exp( (y-n)(H_{n-1}-1-\gamma) ){(\frac{y}{n})}^{y+1}

 

系2 二項係数に関する不等式

s>-1で

 

 

\sum_{k=0}^n {\tbinom{n}{k}}^{1+s}\geq 2^{(1+s)n} {(\frac{2}{\pi en})}^{\frac{s}{2}} \exp(-sO(n^{-1}))

が成り立つ。

 

証明:

eq(2) を二項分布に適用し、p=\frac{1}{2}と置くと、

\sum_{k=0}^nP(k)^{1+s}=\sum_{k=0}^n {\tbinom{n}{k}}^{1+s}2^{-n(1+s)}

二項分布のエントロピー H(X)=\frac{1}{2}\log(\frac{\pi en}{2})+O(n^{-1})を代入し、

s>-1に対して、

\sum_{k=0}^n {\tbinom{n}{k}}^{1+s}\geq 2^{(1+s)n} {(\frac{2}{\pi en})}^{\frac{s}{2}} \exp(-sO(n^{-1}))

 

系3 ベータ関数に関する不等式

s>-1に対し、

\frac{B(s\alpha+\alpha-s, s\beta+\beta-s)}{B(\alpha, \beta)}\geq \exp(s(\alpha-1)\psi(\alpha)+s(\beta-1)\psi(\beta)-s(\alpha+\beta-2)\psi(\alpha+\beta) )

 

証明:

ベータ分布に対し、

P(x)^{1+s}=\frac{x^{s\alpha-s+\alpha-1}{(1-x)}^{s\beta-s+\beta-1}}{B(\alpha, \beta)^{1+s}}

0から1まで積分して、

\frac{B(s\alpha-s+\alpha, s\beta-s+\beta)}{B(\alpha, \beta)^{1+s}}を得ます。

ベータ分布のエントロピー H(X)=\log(B(\alpha,\beta)-(\alpha-1)\psi(\alpha)-(\beta-1)\psi(\beta)+(\alpha+\beta-2)\psi(\alpha+\beta)をeq(2)に代入し、s>-1に対して

\frac{B(s\alpha+\alpha-s, s\beta+\beta-s)}{B(\alpha, \beta)}\geq \exp(s(\alpha-1)\psi(\alpha)+s(\beta-1)\psi(\beta)-s(\alpha+\beta-2)\psi(\alpha+\beta) )

を得ます。