정보 이론 - 엔트로피

 정보 이론은 정보에 대한 통신, 정량화 그리고 저장에 대하여 연구하는 학문이다. 정보 이론에서 가장 중요한 정보의 측도(measure)는 엔트로피(entropy)이며 이는 확률변수에 대한 불확실한 정보의 양을 측정하는 데 사용된다. 예를 들어 동전 던지기의 결과를 예측하는 것은 주사위를 던져서 결과를 예측하는 것보다 낮은 불확실성, 즉 낮은 엔트로피 값을 준다.

 

엔트로피

 하나의 확률변수 X가 x값을 갖기 위한 정보량은 다음과 같이 정의된다.

 결과를 보면 주사위의 정보량, 즉 불확실성이 높다고 할 수 있다.

 

 엔트로피는 확률변수 X의 정보량에 대한 기댓값으로 다음과 같이 정의된다.

# 동전 던지기
pk=[1/2,1/2]
np.round([entropy(pk,base=2),entropy(pk,base=np.e)],3)

# array([1.   , 0.693])

# 주사위 던지기
pk=1/6 * np.ones(6)
np.round([entropy(pk,base=2),entropy(pk,base=np.e)],3)

# array([2.585, 1.792])

 결과를 보면 서로 독립인 사건에 대한 엔트로피는 각각의 사건에 대한 정보량과 일치함을 알 수 있다.

 

 동전 던지기에서 앞면이 나올 확률을 p라고 하면 엔트로피는 다음과 같다.

 이를 p에 관한 함수로 하여 그래프를 그리면 다음과 같다.

앞면 또는 뒷면이 나올 확률이 동등한 경우는 엔트로피 값이 제일 크고, 즉 불확실성이 가장 높다.