熵是指体系的混乱的程度。它在控制论、概率论、数论、天体物理、生命科学等领域都有非常重要的应用,在不同的学科中都有引申出的更为具体的定义。是各个领域中十分重要的参量。熵是由鲁道夫·克劳修斯首次提出的,并应用于热力学中。后来,克劳德·艾尔伍德·香农第一次把熵的概念引入到信息论中。
在物理学上。熵是指热能除以温度所得的商,标志热量转化为功的程度。
年,德国物理学家鲁道夫·克劳修斯第一次提出熵的概念,用来表示任何一种能量在空间中分布的均匀程度,能量分布得越均匀,熵就越大。一个体系的能量完全均匀分布的时候,这个系统的熵就达到最大值。克劳修斯认为,在一个系统中,如果听任它自然发展,那么,能量差总是倾向于消除的。让一个热物体和一个冷物体相接触,热就会以下面的方式流动:热物体将冷却,冷物体将变热。直至两个物体的温度达到相同为止。