728x90
2021.12.07 - [NLP/패캠_자연어 입문] - 8.Cross_entropy
8.Cross_entropy
어떻게 하면 최소의 바이트를 사용하면서 정보를 전달할수 있을까?의 연구에서 출발했다.( 정보가 높다 = 불확실성이 높다.) P(X)라는 확률분포에 –log를 붙여주면 X라는 변수에 대한 정보라고 표
ghdrldud329.tistory.com
728x90
'Data Diary' 카테고리의 다른 글
| 211209_자연어 입문편(차원축소) (0) | 2021.12.09 |
|---|---|
| 211208_자연어 입문편(mse loss) (0) | 2021.12.09 |
| 211204_자연어 입문편(Kullback) (0) | 2021.12.07 |
| 211201_자연어 입문편(MAP) (0) | 2021.12.07 |
| 211129_자연어 입문편(MLE 수식) (0) | 2021.11.29 |