Kl散度和交叉熵

1. KL散度的计算公式

离散概率分布 ( P ) 和 ( Q ) 之间的KL散度定义为：

\[D_{KL}(P \parallel Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}\]

或者用期望形式表示：

\[D_{KL}(P \parallel Q) = \mathbb{E}_{x \sim P}\left[ \log P(x) - \log Q(x) \right].\]

---

2. 交叉熵的计算公式

离散概率分布 ( P ) 和 ( Q ) 之间的交叉熵定义为：

\[H(P, Q) = -\sum_{x} P(x) \log Q(x).\]

用期望形式表示：

\[H(P, Q) = \mathbb{E}_{x \sim P}\left[ -\log Q(x) \right].\]

---

3. KL散度与交叉熵的换算关系

熵 ( H(P) ) 的定义为：

\[H(P) = -\sum_{x} P(x) \log P(x).\]

关系式：
交叉熵等于熵加上KL散度：

\[H(P, Q) = H(P) + D_{KL}(P \parallel Q).\]

因此，KL散度可表示为交叉熵与熵的差：

\[D_{KL}(P \parallel Q) = H(P, Q) - H(P).\]