We think of cross entropy for probability density function P(x), Q(x). Here, is natural loggarithm. 1) Theorem Define and assume is integrable. If s>0, and . It is equivalent eq(1) for <0 < Furthermore, then, . If P(x)=Q(x), we define H(X)…

確率密度関数 P(x), Q(x)に関し、クロスエントロピー を考えます。 1) 定理 と置くと、 が可積分となるsに対し、 s>0ならば s≦0ならば . が成り立つ。即ち <0 <なるに対し、 eq(1) さらに、で、 . 特に、P(x)=Q(x)のときは、 <0 <に対し、 が成り立つ。 証明…

しばらく何も考えつかなかったので、更新できませんでした。 このブログは、厳密な数学の議論をするのではなく、一見関係なさそうな概念をくっつけて様々な角度から数学を観察してみよう・・・という趣旨です。 ですので、同じような話題が何度も出てきます…