딥러닝 수학 강의를 수강하며 필기한 내용을 순서 대로 정리했습니다.
요즘은 지식그래프와 개체명 중심으로 공부하고 있어서 딥러닝 수학은 뒷전으로
미뤄지고 있는데진도가 나가는 대로 계속 채울 예정입니다
2021.04.20 - [Data Diary] - 2021-04-20(딥러닝 수학1)
2021-04-20(딥러닝 수학1)
오늘은 딥러닝 수학 강의를 수강하기 시작했습니다. chapter1을 수강했는데 간단한 딥러닝 개요와 파이썬 리뷰? 까지 수강했습니다. class 부분은 제 약점인데 설명을 너무 잘해주셔서 실습하는 동
ghdrldud329.tistory.com
2021.04.22 - [Data Diary] - 2021-04-22(딥러닝 수학2_Gradient & Jacobian)
2021-04-22(딥러닝 수학2_Gradient & Jacobian)
오늘은 미분부터 jacobian매트릭스까지 간략하게 정리하여 포스팅하겠습니다~ 여담이지만 전 문과생 출신이라서 작년 자코비안 매트릭스에 대해 공부할때 정말 멘탈이 싹 나갔던 기억이 있습니
ghdrldud329.tistory.com
2021.04.26 - [Data Diary] - 2021-04-26(딥러닝 수학3_Vector Chain Rule)
2021-04-26(딥러닝 수학3_Vector Chain Rule)
Chain Rule 위 두 함수가 있을때 이를 결합한 Z함수가 아래처럼 있습니다. 이때, Z함수를 s로 미분한 값을 알아 낼수 있을까요? S는 X,Y에 포함된 element입니다. 그리고 X,Y는 Z함수안에 포함되어 있습니
ghdrldud329.tistory.com
2021.04.28 - [Data Diary] - 2021-04-28(딥러닝수학4_Linear Regression & Gradient Descent)
2021-04-28(딥러닝수학4_Linear Regression & Gradient Descent)
저번 포스팅 체인 룰에 이어서 이번 시간부터는 Linear Regression을 시작으로 포스팅하겠습니다. 1. Linear Regression? 데이터 공부하면서 참 자주 들었으면서도 잘 몰랐던 부분이지 않을까 합니다. 오늘
ghdrldud329.tistory.com
2021.05.13 - [Data Diary] - 2021-05-13(딥러닝수학5_Gradient Descent2 & learning late)
2021-05-13(딥러닝수학5_Gradient Descent2 & learning late)
1. Gradient Descent 하나에 대한 세타가 아니라 2개이상의 세타를 구하게 되면 아래와 같은 과정을 거치게 된다. gradient descent를 구하는 방법은 Loss와 Cost 방법이 있다. 각각에 대하여 2차원(세타0,세타
ghdrldud329.tistory.com
2021.05.18 - [Data Diary] - 2020-05-18(딥러닝 수학6_basic building nodes)
2020-05-18(딥러닝 수학6_basic building nodes)
딥러닝 연산 시 필요한 기본적인 노드들을 만들어 보면서 복습하는 시간을 가졌습니다. 아래의 노드들을 차례대로 생성해 줍니다. 1) Plus_node x,y 를 더해서 z를 만들어 줍니다. z= x+y 를 각각 편미
ghdrldud329.tistory.com
2021.05.26 - [Data Diary] - 2021-05-26(딥러닝 수학7_이론 실습)
2021-05-26(딥러닝 수학7_이론 실습)
딥러닝 수학5에서 다룬 내용을 가지고 실습을 하는 시간을 가졌습니다. 먼저 데이터를 생성하는데 y= 5x 라는 방정식 데이터를 100개 만듭니다. (5는 실제 theta이고, 학습을 통해서 따로 설정한 세
ghdrldud329.tistory.com
2021.08.11 - [Data Diary] - 2021-08-11(딥러닝 수학8_Mini-batch and vectorization)
2021-08-11(딥러닝 수학8_Mini-batch and vectorization)
minibatch x,ydata를 위와 같이 하나씩 가져와서 업데이트를 진행할때의 문제점은 cost가 크다는 점이다. 만일 백만개 데이터가 있다면 이를 하나씩 접근해서 구하기엔 비효율적이다. 이를 해결하기
ghdrldud329.tistory.com
2021.08.17 - [Data Diary] - 2021-08-17(딥러닝수학 9_Vectorization2 &batch Gradient Descent )
2021-08-17(딥러닝수학 9_Vectorization2 &batch Gradient Descent )
1. Vectorization 파란색 박스까지만 취급을 한다면 빨간색 벡터처럼 나온다. 즉, 1번 loss, 2번 loss,.., n번 loss를 벡터화된 모습일 것이다. 이때 cost는 어떤 역할을 할까? forward 일때는 평균값을 구하여..
ghdrldud329.tistory.com
2021.08.19 - [Data Diary] - 2021-08-19(딥러닝수학10_Loss function & Gradient Descent)
2021-08-19(딥러닝수학10_Loss function & Gradient Descent)
*실습링크 2021.08.26 - [Data 일기] - 2021-08-26(딥러닝 수학 11_mini batch & for one sample-Theory) 2021-08-26(딥러닝 수학 11_mini batch & for one sample-Theory) 1. mini batch 3번의 iteration 학습 과..
ghdrldud329.tistory.com
2021.08.24 - [Data Diary] - 2021-08-24(딥러닝 수학11_Cost function & Feature Scaling)
2021-08-24(딥러닝 수학11_Cost function & Feature Scaling)
저번 딥러닝 수학9에서 배웠던 V 형태의 loss function들을 어떻게 합쳐서 cost function으로 만드는지와 합쳐졌을때 이상적인 학습이 어떤 모습을 보일지 자세히 알아본다. *실습링크 2021.09.04 - [실습 no
ghdrldud329.tistory.com
2021.08.26 - [Data Diary] - 2021-08-26(딥러닝 수학 12_mini batch & for one sample-Theory)
2021-08-26(딥러닝 수학 12_mini batch & for one sample-Theory)
저번 포스팅 딥러닝 수학10에 이어서 포스팅 하겠습니다. *실습링크 2021.09.04 - [실습 note] - 딥러닝 수학 실습과제 모음 9~12 딥러닝 수학 실습과제 모음 9~12 실습파일이 없는 줄 알았는데 있더라구
ghdrldud329.tistory.com
2021.09.08 - [Data Diary] - 2021-09-08(딥러닝 수학 13_ for Several Samples Theory & Implementation)
2021-09-08(딥러닝 수학 13_ for Several Samples Theory & Implementation)
저번 포스팅까지는 하나의 데이터에 대한 학습과정을 공부했습니다. 이번 시간부터는 미니배치 즉, 여러개 샘플을 가지고 학습을 시키는 방법에 대해 공부한 내용을 포스팅하겠습니다. 2가지로
ghdrldud329.tistory.com
2021.09.10 - [Data Diary] - 2021-09-10(딥러닝 수학14_dataset 변화에 따른 th1,th0 학습 시각화)
2021-09-10(딥러닝 수학14_dataset 변화에 따른 th1,th0 학습 시각화)
이번 포스팅에서는 주로 weight 변화에 따라서 bias에 어떠한 영향을 미치는지를 중점적으로 살펴보도록 한다. weight, bias가 3,3인 것으로 부터 mu, sigma의 변화에 따른 영향을 살펴본다. *표준편차가 1
ghdrldud329.tistory.com
2021.09.14 - [Data Diary] - 2021-09-14(딥러닝 수학15_multi-variate Linear Regression)
2021-09-14(딥러닝 수학15_multi-variate Linear Regression)
저번 포스팅까지는 X 변수가 하나라는 가정하에 진행해 왔습니다. 이제 부터는 X가 둘 이상인 multi을 다룹니다. 위 그림처럼, X들이 여러개 나뉘어 졌다. X1: 공부시간, X2: 등하교 시간으로 예를 들
ghdrldud329.tistory.com
2021.09.21 - [Data Diary] - 2021-09-19(딥러닝 수학16)
2021-09-19(딥러닝 수학16)
지난 포스팅에 이어서 th가 2개 이상인 멀티에서는 Update가 어떻게 진행이 되는지 살펴보도록 합니다. 이해를 돕기 위해서 input data가 1개라는 가정하에 진행합니다. 눈에 띄는 점은 th가 2개 이기
ghdrldud329.tistory.com