확률변수 X에 대하여 X의 실제 분포를 p(X)이고 임의의 분포를 q(X)라고 하면 교차 엔트로피(cross entropy)는 다음과 같이 정의된다.
# 교차 엔트로피 계산
px=[1/4, 1/2, 1/4]
qx=[1/3, 1/3, 1/3]
hpq=np.dot(px,-np.log(qx))
hpq.round(3)
# 1.099
'Mathematics > probability statistics' 카테고리의 다른 글
| 정보 이론 - 엔트로피 (0) | 2022.03.28 |
|---|---|
| F분포 (0) | 2022.03.27 |
| (스튜던트)t분포 (0) | 2022.03.27 |
| 카이제곱분포 (0) | 2022.03.27 |
| 표본평균의 분포 (0) | 2022.03.27 |