まとめ:Renyiエントロピーとモーメント

今回、考察の動機になったのは、Renyiエントロピーの指数関数とq次のモーメントのq乗根がスケール変換 に対して、全て同じ変換を受けるということでした。

そこで予想したのが

ある定数cが存在し、

が成り立つのではないか？ということです。

左側の不等式は、一般的な連続確率変数に対して成り立ちそうにみえます。右側の不等式は一般には成り立ちません。

Renyiエントロピーでは、確率密度関数の上界と結びついています。

p=1の場合は、Shannonのエントロピーになります。

特に、確率密度関数がlog-凹関数と仮定すれば、両側の不等式が成り立つことを示しました。

p=1, q=1,2の場合の左側の不等式を用いて、チェビシェフ不等式をより厳しくした上限を導き、q=2の場合の両側の不等式を用いて、Renyiエントロピーのentropy power inequalityを導きました。