본문 바로가기
728x90

Data Diary

 (166)
2021-04-27(태양열 에너지 예측2) 오늘은 태양광 프로젝트를 진행했습니다. 데이터 전처리 예시 중 선형보건법이 있었습니다. 처음 본 방법이라서 신기했어요 이게 없었더라면 결측치를 삭제하거나 아마 ffill / bfill로 채웠을텐데 말이죠 결측치가 연쇄적으로 따닥 따닥 붙어 있다면 fillna 보다는 선형보건법이 유용할것같네요 아무튼 오늘 진도 나간 부분은 일기예보 시간 정하기 와 데이터 concat 정도입니다. 주어진 데이터 중에서 일기예보가 있었어요 11시,14시,17시,20시 이렇게 하루에 4번씩 일기예보를 한다고 합니다. 데이콘 예시를 보니까 임의로 11시 일기예보를 사용했더라구요 저는 각 예보의 오차를 알아내서 시간을 정하고 싶었어요 그래서 실제 관측치 데이터를 가지고 직접 MSE 방법으로 오차를 구했습니다. (온도로 비교했습니다..
2021-04-26(딥러닝 수학3_Vector Chain Rule) Chain Rule 위 두 함수가 있을때 이를 결합한 Z함수가 아래처럼 있습니다. 이때, Z함수를 s로 미분한 값을 알아 낼수 있을까요? S는 X,Y에 포함된 element입니다. 그리고 X,Y는 Z함수안에 포함되어 있습니다. 흐름을 보면 Z함수-X,Y함수-s,t elements 이렇게 관계가 맺어져 있습니다. 이게 무슨 뜻일까요? 이 관계를 한번 들여다 보겠습니다. Z라는 함수가 바닷물이고 그 바닷물 안에는 X,Y함수라는 물고기가 있고 s,t는 물고기가 잡아 먹은 먹이 같은 구조입니다. 음.. 딥러닝이 가능한 이유는 Back propagation이 있기 때문입니다. 다시말해서 오차를 쪼개서 파라미터를 업데이트해줄때 사용되는게 이 체인 룰입니다. 이 바닷물의 수질을 아주 깨끗하게 만들고 싶습니다. 오염도..
2021-04-23(태양열 에너지 예측) 오늘까지 해서 3일째 프로젝트를 수행하고 있는데 사실 잘 진행이 잘...ㅎㅎ;; 심적으로 힘이 드니까 참으로 하루하루가 고역입니다 있는 그대로의 제 상태를 적어 놓는 것도 이 블로그의 특징이니까 가감없이 적고 있어요 나중에 후회나 되지 않을까 걱정도 됩니다 게다가 외부적으로 계속 스트레스 받는 일이 생겨서 요즘 세상이 나한테 왜이러나 싶기도.. 프로젝트를 처음 어떻게 구상해야할지를 정의하는데에 꽤 많은 시간을 들이고 있어요 어떻게 분석해야겠다 라는 틀이 조금씩 갖춰지고 있어요 욕심내지 않고 배운걸 사용해본다는 생각으로 임하겠습니다.
2021-04-22(딥러닝 수학2_Gradient & Jacobian) 오늘은 미분부터 jacobian매트릭스까지 간략하게 정리하여 포스팅하겠습니다~ 여담이지만 전 문과생 출신이라서 작년 자코비안 매트릭스에 대해 공부할때 정말 멘탈이 싹 나갔던 기억이 있습니다 구글링해도 개념이 잘 잡히지 않아서 일단 미루고 있었는데 과연 제가 완전하게 이해를 하게 되었을지 끝가지 읽어 주십사 합니다 ㅎㅎ *딥러닝에서의 미분이란 뭘까? 흔히 어떤 x가 변화했을때 y의 변화량 이라고 배워왔는데요 그래도 뭔가 아 그렇구나 하지 와닿지는 않았더라구요 이 수업에서는 딥러닝의 미분을 아래처럼 소개 하였습니다. y = 2x^2를 미분하면 y=4x가 됩니다 하늘색은 x=2를 대입할때 계수가 +8이 나왔고 x=-4를 대입하면 -16이 나왔습니다. 이 둘의 미분계수를 자세히 보겠습니다. 만일 x=2가 아니라..
2021-04-20(딥러닝 수학1) 오늘은 딥러닝 수학 강의를 수강하기 시작했습니다. chapter1을 수강했는데 간단한 딥러닝 개요와 파이썬 리뷰? 까지 수강했습니다. class 부분은 제 약점인데 설명을 너무 잘해주셔서 실습하는 동안 신기하면서 재밌게 진행할수 있었어요 처음 class에 대해 배울때는 당최 무슨 말인지 몰랐는데 지금은 한결 수월했어요 class 외에도 다른 문법들 복습해 보면서 자잘하게 깨달은 부분이 있었어요 내일 모레 부터는 본격적으로 수학에 관련된 내용이 진행됩니다. 수학강의는 따로 D-Day를 정하지 않고 강의 하나하나 신중하게, 이해를 위주로 천천히 곱씹으며 진도를 나갈생각입니다. 강사도 그렇게 하는게 좋다고 하더라구요 어제는 제가 기록을 못적었지만 dacon 태양광 발전량 예측 프로젝트를 시작했었는데요 요즘들어..
2021-04-16(시계열데이터 심화20_종강2) 남아 있던 실습프로젝트 2개를 마저 복습하면서 포스팅 작업을 진행했습니다. 어제 말씀드린 것처럼 이 강의 덕분에 얻은게 참 많았던 것같아요 자신감도 좀 붙은 것같기도 합니다 내용이 너무 많으면 핵심이 가려질것같아서 요약하여 포스팅했습니다~ 만일 이 강의를 듣고 싶은 분이 있다면 패스트캠퍼스 사이트에서 찾을 수 있습니다~^^ 일단 강의와 실습만으로는 체득이 안됐기 때문에 데이콘에서 시계열 데이터 관련한 프로젝트를 진행 하려고 합니다 이미 데이터까지 받아 놔서 진행만 하면 될것같아요 다음주 월요일부터 시작할 생각입니다. 이번 참여 목표는 수상이 아니라 제가 배운 내용을 적용 하는데에 중점을 두고 진행하고자 합니다. 마지막 실습 코드 내용은 아래에 링크 걸어 놓았습니다 :) 2021.04.16 - [실습 no..
2021-04-15(시계열데이터 심화19_종강1) 오늘 드디어 시계열데이터 심화편 강의를 완강했습니다 100강의 정도 되는 분량이였는데 차근차근 하다보니까 완강까지 하게되었습니다 일단 심화편이라서 그런지 정말 많은 정보를 얻을수 있었습니다. 더군다나 시계열데이터는 구글링해도 충분치 못한 영역이라고 생각했어요 잘 정리된 페이지도 있었지만 글로만 보면서 이해를 한다는게 쉽지 않는 공부였습니다. 이번 기회에 시계열데이터의 흐름을 알게 된것같아서 뿌듯합니다. 완강했다고 끝은 아닙니다. 부족한 점이 군데군데 있습니다. 복습 해야할 부분도 있구요 이 강의 끝으로 자전거 수요와 주택가격 예측 실습을 진행했는데요 이 실습 내용은 내일 올리도록 하겠습니다. 오늘은 마저 못한 bitcoin실습 내용을 포스팅 겸 복습하면서 마무리 할 생각입니다. 2021.04.14 - [..
2021-04-14(시계열데이터 심화18_bitcoin 실습편) 오늘은 bitcoin 실습을 진행했습니다 강의는 5개 구성 되어 있어서 짧았는데 중간에 막혀서 몇시간을 고생했습니다 막혔던 부분이 뭐였나면 딥러닝의 input shape 였어요 강사가 이 부분이 중요하다고 중점적으로 말씀을 해주셨는데 한번에 이해 하기가 힘들었어요 MLP에서 (train.shape[1],)으로 입력하면 feature 수가 노드 수 만큼 증가되고 시계열 딥러닝은 (train.shape[1],train.shape[2])로 입력하면 feature가 아닌 sequense 길이가 노드 수 만큼 증가가 된다 라는 얘기는 아직도 무슨얘기인지 이해하지 못했어요 다른건 해결 했는데 이 부분이 ... 막힌다 말이죠 대략 무슨 얘기인지는 알것같은데 이런 직감적으로 알것 같은건 100% 알고 있는게 아니라고 ..

티스토리툴바