전체 글 (219) 썸네일형 리스트형 5. MLE 수식 수식 MLE 위 수식에 대해서 자세히 알아보자. P(x)라는 알고자 하는 확률분포에서 x,y data를 샘플링하여 모은 데이터로 파라미터를 찾고자 한다. 이때, 이 파라미터는 상황에 따라 다르다. 가우시안이라면 μ, σ 일것이고, 신경망이라면 weights, bias일 것이다. 그래서 위 식처럼 maximum log likelihood를 최대화 하는 theta를 찾는다. 해당 식을 풀이하자면 “Xi를 입력으로 넣고, theta라는 어떠한 파라미터가 있었을 때 yi의 값은 확률 값이 얼마인가?” 그렇게 얻은 확률값에 log를 취하고 이런 과정을 N번 반복하고 모두 더한다. 그렇게 더한 값들 중에 theta가 가장 큰 값을 찾으면 된다. 위 방식은 어디까지나 Ascent 방식이다. 우리는 마이너스를 곱해줌으.. 211128_자연어 입문편(Probabilistic Perspective,MLE) 2021.11.28 - [NLP/패캠_자연어 입문] - 3. Probabilistic Perspective 3. Probabilistic Perspective 복습하는 확률기초 1. 기댓값 P(X)라는 분포에서 샘플링한 X를 f(x)에 넣으면 f(x)의 개별 값들을 알 수 있다. 이 값들을 평균 낸다. P(x): 소문자 x이므로 분포가 아닌 어떠한 값이 주어진 상태 P(Z)라 ghdrldud329.tistory.com 2021.11.28 - [NLP/패캠_자연어 입문] - 4. MLE 4. MLE MLE 샘플링 된 만 명의 신장 데이터가 있다고 가정해본다. 내가 알고 싶었던 것은 전국 사람들의 정규분포를 알고 싶었던 것이다. 즉, 모집단이 궁금해서 표본집단을 만개를 수집해 놓은 것이다 ghdrldud32.. 4. MLE MLE 샘플링 된 만 명의 신장 데이터가 있다고 가정해본다. 내가 알고 싶었던 것은 전국 사람들의 정규분포를 알고 싶었던 것이다. 즉, 모집단이 궁금해서 표본집단을 만개를 수집해 놓은 것이다. 이 모집단을 알기 위해서 아래 이미지처럼 평균과 분산을 랜덤하게 설정하여 각 샘플링에 대한 확률 값이 어떤지를 알아낸다 위처럼 랜덤하게 평균과 분산을 만들어 가면서 비교하던 도중 위 이미지처럼 가장 높은 확률값을 가지고 있다. 높은 확률값을 가지고 있다는 것은 빨간 점선이 길다는 것이다. 빨간 길이들의 곱을 구하면(Likelihood)세번째 분포가 가장 길다는 걸 알수있다. 그러면 이 초록색 분포가 Ground Truth 확률분포에 가장 근접한 분포가 될 것이다. 점선들의 곱 = Likelihood이다. 즉, Li.. 3. Probabilistic Perspective 복습하는 확률기초 1. 기댓값 P(X)라는 분포에서 샘플링한 X를 f(x)에 넣으면 f(x)의 개별 값들을 알 수 있다. 이 값들을 평균 낸다. P(x): 소문자 x이므로 분포가 아닌 어떠한 값이 주어진 상태 P(Z)라는 분포에서 샘플링한 Z가 주어졌을 때, X(대문자)라는 random variable이 x(소문자)를 가졌을 확률값에 대해서 가중평균을 한 것이다. 위 지도에서 대한민국의 면적 값을 알고 싶을 때 몬테카를로를 사용해 볼 수 있다. P(X)를 사각형 안에서 랜덤하게 유니폼 샘플링하는 함수라고 가정해본다. 그래서 위 지도에 빨간 점처럼 샘플링를 하는데, 이때 한반도에 찍힌 점과 아닌 점에 대해서 비율을 알수 있다. 예를들어 한반도 점이 20개, 그 외에 점을 100개 했을 때 20/100 = .. 딥러닝 수학 모음 1~16 딥러닝 수학 강의를 수강하며 필기한 내용을 순서 대로 정리했습니다. 요즘은 지식그래프와 개체명 중심으로 공부하고 있어서 딥러닝 수학은 뒷전으로 미뤄지고 있는데진도가 나가는 대로 계속 채울 예정입니다 2021.04.20 - [Data Diary] - 2021-04-20(딥러닝 수학1) 2021-04-20(딥러닝 수학1) 오늘은 딥러닝 수학 강의를 수강하기 시작했습니다. chapter1을 수강했는데 간단한 딥러닝 개요와 파이썬 리뷰? 까지 수강했습니다. class 부분은 제 약점인데 설명을 너무 잘해주셔서 실습하는 동 ghdrldud329.tistory.com 2021.04.22 - [Data Diary] - 2021-04-22(딥러닝 수학2_Gradient & Jacobian) 2021-04-22(딥러닝 .. 211127_자연어 입문편(Auto Encoder, Feature Vector) 2021.11.27 - [NLP/패캠_자연어 입문] - 1. Feature Vector 1. Feature Vector * 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Featureand FeatureVector 1. 개요 머신러닝에서의 feature를 설명하기 위해서 Mnist 샘플을 통해 알아보자. 0과1 처럼 서로다른 숫자 모 ghdrldud329.tistory.com 2021.11.27 - [NLP/패캠_자연어 입문] - 2. Auto Encoder 2. Auto Encoder * 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Auto Encoder 오토인코더의 목적은 입력값 x을 넣었을 때, 출력값이 입력값 이었던 x값을 최대한 그대로 출력하는 것이다. 이 과 gh.. 2. Auto Encoder * 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Auto Encoder 오토인코더의 목적은 입력값 x을 넣었을 때, 출력값이 입력값 이었던 x값을 최대한 그대로 출력하는 것이다. 이 과정에서 Z라는 병목현상이 발생한다. 즉 입구가 좁아지기 되면서 x의 모든 정보가 아닌 정말 중요한 값들만 살려서 압축시킨다. 이를 통해 우리는 중요한 feature만을 추출할수 있게 된다. 압축을 위해서 encoder는 버릴 건 버리고, 챙길 건 챙기는 역할을 수행한다. 버리는 것은 필요없는 정보, 뻔한 특징들을 예로 들 수 있겠다. Z는 차원이 작기 때문에 데이터를 선택하고, 압축하는 과정을 수행한다. Z의 차원크기에 따라 압축의 정도가 달라진다. 또한 Z는 x를 복원하기 위한 정보를 엑기스로 모아 놓은 .. 1. Feature Vector * 해당 필기내용은 패스트캠퍼스 자연어 입문 강의를 알려드립니다 Featureand FeatureVector 1. 개요 머신러닝에서의 feature를 설명하기 위해서 Mnist 샘플을 통해 알아보자. 0과1 처럼 서로다른 숫자 모양에 대해서 구별할수 있는 feature가 필요하다. 또한 같은 5라는 숫자라도 사람마다 필기체가 다르듯 약간의 차이가 있다. 우리들은 다른 필기체라 하더라도 5라고 금방 인식하는 반면 머신러닝은 이둘을 구별하는 feature 필요하다. 정리를 하자면 각 샘플간의 feature와 샘플 내에 feature가 필요할것이다. 전통적인 머신러닝방법은 사람이 직접 feature를 정의하고 추출하는 전 과정이 필요한 반면, 딥러닝은 스스로 feature를 추출하는 장점이 있다. (각 장단점.. 이전 1 2 3 4 5 6 ··· 28 다음
