機械学習の分野でよく用いられるクロスエントロピーや、カルバック・ライブラー情報量に関する関係を導き出したので、要約を書いておきます。 今回見つけたことは、ざっくり言うと、 4つの確率分布が、「平行四辺形」の各頂点にあるとき、確率分布間の「距離…

この記事は、6/21に書いた記事を清書したものです。 ◇概要 情報幾何学は、確率分布を統計多様体上の点とみなし、統計多様体の幾何的な性質を解析する学問である。統計多様体が双対平坦な場合には、確率分布間の「距離の2乗」に該当する正準ダイバージェンス…

Can we represent the arbitrary function by mixture distribution?I thought this problem by using the analogy of wavelet transform.Definition.Let be a probability density function in .for distribution function indicates .In the following, we…