H_record

10. 차원축소

차원이 높아질수록 sparse하게 분포되므로 모델링하기가 어려워진다. 예를들어 Kmean는 고차원의 데이터를 다룰 경우 성능이 저하되며 해석도 난해하게 된다. 따라서 쓸데없이 공간만 차지 하는

ghdrldud329.tistory.com

9.Mse Loss

Classification는 multinomial(다항분포)를 따른다고 가정하에 CE를 통한 minimize를 진행했다. 이산부포가 아닌 연속형 분포일 경우에는 뉴럴 네트워크의 출력이 가우시안 분포를 따른다는 가정하에 MSE가

ghdrldud329.tistory.com

8.Cross_entropy

어떻게 하면 최소의 바이트를 사용하면서 정보를 전달할수 있을까?의 연구에서 출발했다.( 정보가 높다 = 불확실성이 높다.) P(X)라는 확률분포에 –log를 붙여주면 X라는 변수에 대한 정보라고 표

ghdrldud329.tistory.com

7.Kullback

Kullback­Leibler Divergence(두 분포사이의 다름을 측정) KL(p||q)은 p에 대해서 q와 얼마나 다른지를 나타낸다. 왜 P에 대해서인지는 오른쪽 식에 처진 동그라미를 보면 알수있다. P(x) 확률분포에서 샘플

ghdrldud329.tistory.com

6. MAP(Maximum A Posterior)

Maximum A Posterior(MAP) D는 datset를 뜻하고, h는 가정,가설을 뜻한다. 즉, 데이터가 주어 졌을 때 그 데이터에 대한 가설을 얘기하는 것이다. MLE는 likelihood를 maximize하는 방법이다. 마찬가지로 것처럼 h.

ghdrldud329.tistory.com

5. MLE 수식

수식 MLE 위 수식에 대해서 자세히 알아보자. P(x)라는 알고자 하는 확률분포에서 x,y data를 샘플링하여 모은 데이터로 파라미터를 찾고자 한다. 이때, 이 파라미터는 상황에 따라 다르다. 가우시안

ghdrldud329.tistory.com

3. Probabilistic Perspective

복습하는 확률기초 1. 기댓값 P(X)라는 분포에서 샘플링한 X를 f(x)에 넣으면 f(x)의 개별 값들을 알 수 있다. 이 값들을 평균 낸다. P(x): 소문자 x이므로 분포가 아닌 어떠한 값이 주어진 상태 P(Z)라

ghdrldud329.tistory.com

4. MLE

MLE  샘플링 된 만 명의 신장 데이터가 있다고 가정해본다. 내가 알고 싶었던 것은 전국 사람들의 정규분포를 알고 싶었던 것이다. 즉, 모집단이 궁금해서 표본집단을 만개를 수집해 놓은 것이다

ghdrldud329.tistory.com

1. Feature Vector

* 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Featureand FeatureVector 1. 개요 머신러닝에서의 feature를 설명하기 위해서 Mnist 샘플을 통해 알아보자. 0과1 처럼 서로다른 숫자 모

ghdrldud329.tistory.com

2. Auto Encoder

* 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Auto Encoder 오토인코더의 목적은 입력값 x을 넣었을 때, 출력값이 입력값 이었던 x값을 최대한 그대로 출력하는 것이다. 이 과

ghdrldud329.tistory.com