这篇文章介绍了KL散度(Kullback–Leibler divergence)的概念和推导过程。首先介绍了熵的定义,然后通过熵的推广得到了KL散度的公式。KL散度可以用于衡量两个概率分布之间的差异,具有非负性质,但不具有对称性。文章最后总结了KL散度的两个重要性质:非负性和不对称性。