211207_자연어 입문편(Cross Entropy)

Data Diary

H_record 2021. 12. 7. 22:14

8.Cross_entropy

어떻게 하면 최소의 바이트를 사용하면서 정보를 전달할수 있을까?의 연구에서 출발했다.( 정보가 높다 = 불확실성이 높다.) P(X)라는 확률분포에 –log를 붙여주면 X라는 변수에 대한 정보라고 표

ghdrldud329.tistory.com