본문 바로가기
728x90

Data Diary

 (166)
211209_자연어 입문편(차원축소) 2021.12.09 - [NLP/패캠_자연어 입문] - 10. 차원축소 10. 차원축소 차원이 높아질수록 sparse하게 분포되므로 모델링하기가 어려워진다. 예를들어 Kmean는 고차원의 데이터를 다룰 경우 성능이 저하되며 해석도 난해하게 된다. 따라서 쓸데없이 공간만 차지 하는 ghdrldud329.tistory.com
211208_자연어 입문편(mse loss) 2021.12.09 - [NLP/패캠_자연어 입문] - 9.Mse Loss 9.Mse Loss Classification는 multinomial(다항분포)를 따른다고 가정하에 CE를 통한 minimize를 진행했다. 이산부포가 아닌 연속형 분포일 경우에는 뉴럴 네트워크의 출력이 가우시안 분포를 따른다는 가정하에 MSE가 ghdrldud329.tistory.com
211207_자연어 입문편(Cross Entropy) 2021.12.07 - [NLP/패캠_자연어 입문] - 8.Cross_entropy 8.Cross_entropy 어떻게 하면 최소의 바이트를 사용하면서 정보를 전달할수 있을까?의 연구에서 출발했다.( 정보가 높다 = 불확실성이 높다.) P(X)라는 확률분포에 –log를 붙여주면 X라는 변수에 대한 정보라고 표 ghdrldud329.tistory.com
211204_자연어 입문편(Kullback) 2021.12.07 - [NLP/패캠_자연어 입문] - 7.Kullback 7.Kullback Kullback­Leibler Divergence(두 분포사이의 다름을 측정) KL(p||q)은 p에 대해서 q와 얼마나 다른지를 나타낸다. 왜 P에 대해서인지는 오른쪽 식에 처진 동그라미를 보면 알수있다. P(x) 확률분포에서 샘플 ghdrldud329.tistory.com
211201_자연어 입문편(MAP) 2021.12.01 - [NLP/패캠_자연어 입문] - 6. MAP(Maximum A Posterior) 6. MAP(Maximum A Posterior) Maximum A Posterior(MAP) D는 datset를 뜻하고, h는 가정,가설을 뜻한다. 즉, 데이터가 주어 졌을 때 그 데이터에 대한 가설을 얘기하는 것이다. MLE는 likelihood를 maximize하는 방법이다. 마찬가지로 것처럼 h. ghdrldud329.tistory.com
211129_자연어 입문편(MLE 수식) 2021.11.29 - [NLP/패캠_자연어 입문] - 5. MLE 수식 5. MLE 수식 수식 MLE 위 수식에 대해서 자세히 알아보자. P(x)라는 알고자 하는 확률분포에서 x,y data를 샘플링하여 모은 데이터로 파라미터를 찾고자 한다. 이때, 이 파라미터는 상황에 따라 다르다. 가우시안 ghdrldud329.tistory.com
211128_자연어 입문편(Probabilistic Perspective,MLE) 2021.11.28 - [NLP/패캠_자연어 입문] - 3. Probabilistic Perspective 3. Probabilistic Perspective 복습하는 확률기초 1. 기댓값 P(X)라는 분포에서 샘플링한 X를 f(x)에 넣으면 f(x)의 개별 값들을 알 수 있다. 이 값들을 평균 낸다. P(x): 소문자 x이므로 분포가 아닌 어떠한 값이 주어진 상태 P(Z)라 ghdrldud329.tistory.com 2021.11.28 - [NLP/패캠_자연어 입문] - 4. MLE 4. MLE MLE 샘플링 된 만 명의 신장 데이터가 있다고 가정해본다. 내가 알고 싶었던 것은 전국 사람들의 정규분포를 알고 싶었던 것이다. 즉, 모집단이 궁금해서 표본집단을 만개를 수집해 놓은 것이다 ghdrldud32..
211127_자연어 입문편(Auto Encoder, Feature Vector) 2021.11.27 - [NLP/패캠_자연어 입문] - 1. Feature Vector 1. Feature Vector * 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Featureand FeatureVector 1. 개요 머신러닝에서의 feature를 설명하기 위해서 Mnist 샘플을 통해 알아보자. 0과1 처럼 서로다른 숫자 모 ghdrldud329.tistory.com 2021.11.27 - [NLP/패캠_자연어 입문] - 2. Auto Encoder 2. Auto Encoder * 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Auto Encoder 오토인코더의 목적은 입력값 x을 넣었을 때, 출력값이 입력값 이었던 x값을 최대한 그대로 출력하는 것이다. 이 과 gh..

티스토리툴바