熵：
“形容一個系統的混亂程度”。系統的不确定性越高，熵就越大。
假設集合中的變量X={X1,X2,...Xn}
其對應在集合中的機率為P={p1,p2,...pn}
則熵表示為：
舉例：
舉一個的例子：對遊戲活躍使用者進行分層，分為高活躍、中活躍、低活躍，遊戲A按照這個方式劃分，使用者比例分别為20%，30%，50%。遊戲B按照這種方式劃分，使用者比例分别為5%，5%，90%。那麼遊戲A對于這種劃分方式的熵為：
同理遊戲B對于這種劃分方式的熵為：
遊戲A的熵比遊戲B的熵大，是以遊戲A的不确定性比遊戲B高。用簡單通俗的話來講，遊戲B要不就在上升期，要不就在衰退期，它的未來已經很确定了，是以熵低。而遊戲A的未來有更多的不确定性，它的熵更高。