본문 바로가기
728x90

전체 글

 (219)
2021-09-09(따릉이 프로젝트 완성하기 4) 지난 포스팅에 이어서 오늘은 모델링을 만들어 봤습니다. #그리드 서치 models = [ ('ridge', lm.Ridge()), ('lasso', lm.Lasso()), ('elastic', lm.ElasticNet()), ('LassoLars', lm.LassoLars()), ('LogisticRegression', lm.LogisticRegression()), ('SGDRegressor', lm.SGDRegressor()), ('Perceptron', lm.Perceptron(n_jobs=-1)), ('xgboost', xgb.XGBRegressor()), ('lgb', lgb.LGBMRegressor()), ('knn', KNeighborsRegressor(n_jobs = -1) ), ('rf',..
2021-09-08(딥러닝 수학 13_ for Several Samples Theory & Implementation) 저번 포스팅까지는 하나의 데이터에 대한 학습과정을 공부했습니다. 이번 시간부터는 미니배치 즉, 여러개 샘플을 가지고 학습을 시키는 방법에 대해 공부한 내용을 포스팅하겠습니다. 2가지로 나눠서 진행할 예정입니다. 1. 두개의 sample에 대해서 cost function을 이용한 업데이트 방법 2. vector notation을 이용한 방법 (n개의 미니배치가 있을 경우의 업데이트 방법) *실습링크 2021.09.04 - [실습 note] - 딥러닝 수학 실습과제 모음 9~12 딥러닝 수학 실습과제 모음 9~12 실습파일이 없는 줄 알았는데 있더라구요 그래서 쌓여 있는 실습을 진행했습니다. 각 구분선에 따라 이론내용과 실습을 분리했습니다. 순서는 맨 위부터 아래 순입니다. 2021.08.19 - [Data..
2021-09-07(따릉이 프로젝트 완성하기 3) 저번 포스팅에서 언급했던 결측치 문제를 오늘 해결했습니다. 결과만 보면 이렇게 간단한데 그 과정을 알기까지가 힘드네요. 아래가 해결한 코드입니다. def nan_fill(dataset): #결측치가 있는 컬럼 nan_columns = [col for col in dataset.iloc[:,2:-1].columns.to_list() if col!='hour_bef_precipitation'] #for 문을 통해 결측치를 각 시간대별 평균값으로 대체 for col in nan_columns: hour_mean_value = dataset.groupby('hour').mean()[col] hour_mean_value.fillna(hour_mean_value.mean(),inplace=True) #회귀를 통해서..
2021-09-02,04(따릉이 프로젝트 완성하기 1,2) 이틀 전 부터 따릉이 수요예측 프로젝트를 시작했습니다. 깜빡하고 당일에 업로드를 하지 않아서 지금 몰아서 적성하게 되었습니다. 일단 간단하게 EDA는 진행했고 전처리 과정을 진행 중입니다. 그런데 몇 시간 동안 매달려 해결 되지 않은 문제가 있어서 정체 되었습니다 본 데이터는 위와 같이 되어 있습니다. 결측치가 많습니다. 일괄적으로 bfill을 사용하려고 했으나 hour가 뒤죽박죽이라서 적용하지 못했습니다. 각 시간대 별 평균 값을 넣어 볼려고 아래처럼 시도를 했습니다. 위 코드를 실행해도 결측치가 그대로여서 이것저것 실험해 본 결과, fillna 같은 경우는 위 처럼 train[train 블라블라] 와 같은 필터? 조회형식으로는 채워지지 않는다는 걸 알게 되었습니다. train.fillna() 혹은 t..
딥러닝 수학 실습과제 모음 9~12 실습파일이 없는 줄 알았는데 있더라구요 그래서 쌓여 있는 실습을 진행했습니다. 각 구분선에 따라 이론내용과 실습을 분리했습니다. 순서는 맨 위부터 아래 순입니다. 2021.08.19 - [Data 일기] - 2021-08-19(딥러닝수학9_Loss function & Gradient Descent) 2021-08-19(딥러닝수학9_Loss function & Gradient Descent) 1.Single-variate Linear Regression (y= ax+b) -딥러닝 수학 1~8까지는 y =theta*x에 대한 내용을 학습했다. 지금부터는 y= theta1*x+theta0에 대한 학습을 진행한다. 오늘은 그 중에 Loss function의 변화와 그.. ghdrldud329.tistory.co..
2021-08-26(딥러닝 수학 12_mini batch & for one sample-Theory) 저번 포스팅 딥러닝 수학10에 이어서 포스팅 하겠습니다. *실습링크 2021.09.04 - [실습 note] - 딥러닝 수학 실습과제 모음 9~12 딥러닝 수학 실습과제 모음 9~12 실습파일이 없는 줄 알았는데 있더라구요 그래서 쌓여 있는 실습을 진행했습니다. 각 구분선에 따라 이론내용과 실습을 분리했습니다. 순서는 맨 위부터 아래 순입니다. 2021.08.19 - [Data 일기] - 20 ghdrldud329.tistory.com 1. mini batch 3번의 iteration 학습 과정을 보려 봤을 때, 각 cost function에 projection 방향으로 다가가고 있다. interation 돌릴 때마다 cost function이 달라진다는 점 헷갈리지 말아야 한다. 계속 interatio..
Face Mask Detection https://colab.research.google.com/drive/1eesj-6EBRPpZn6AebXDIOhdULzh7x_BU?hl=ko Google Colaboratory Notebook Run, share, and edit Python notebooks colab.research.google.com Mask Detection을 수행해 봤습니다. dataset은 캐글에서 받았습니다. 아래 그림은 유튜브 영상 중 일부를 편집하여 모델로 돌린 결과로써 threshold 0.1로 설정했음을 알려드립니다. dataset이 좀 더 많고 다양하다면 지금의 성능보다 훨씬 좋아 질것 같습니다. 자세한 내용은 위 링크에서 보실수 있습니다.
2021-08-24(딥러닝 수학11_Cost function & Feature Scaling) 저번 딥러닝 수학9에서 배웠던 V 형태의 loss function들을 어떻게 합쳐서 cost function으로 만드는지와 합쳐졌을때 이상적인 학습이 어떤 모습을 보일지 자세히 알아본다. *실습링크 2021.09.04 - [실습 note] - 딥러닝 수학 실습과제 모음 9~12 딥러닝 수학 실습과제 모음 9~12 실습파일이 없는 줄 알았는데 있더라구요 그래서 쌓여 있는 실습을 진행했습니다. 각 구분선에 따라 이론내용과 실습을 분리했습니다. 순서는 맨 위부터 아래 순입니다. 2021.08.19 - [Data 일기] - 20 ghdrldud329.tistory.com 1. Cost function 두개 data sample에 대해서 각각 loss function이 왼쪽과 같이 그러져 있다. 이 두개의 los..

티스토리툴바