2021-01-20 공부기록(택시수요예측)

오늘은 뉴욕 택시 수요예측 프로젝트를 시작한 첫날입니다. 

실습할 때는 1시간 단위로 잘라서 했습니다. 함수가 hour 단위가 있기 때문에 편하게 했는데 

 

30분 단위로 짜르려고하니까 식은땀이 났습니다. 크게 어렵지 않을 거라고 직감했던 부분에서 크게 뒤통수를 맞은 기분이었습니다. 구글링을 열심히 해봤지만 빅쿼리의 30분 단위로 자르는 예시가 없었지만 문법은 비슷하기 때문에 

 

적용해보려고 노력했지만

이해를 못했습니다 

sql 고수가 달아놓은 답변인 듯 질문자의 질문 내용조차 잘 이해가 되질 않았죠 :~|

 

그렇게 구글링만 2시간이 넘은 시점에서 

이러다가 하루종일 삽질만 할 것 같은 느낌이 들어서 

일단 부딪혀 보는 작전으로 생각을 바꿨습니다 

 

(바보 query)

위 코드가 어찌 저찌 해서 만든 첫 쿼리였습니다. 희망을 품고 실행을 눌렀습니다

10..20분..이 지나도 결과가 출력되지 않았습니다. 메모리를 거의 80~90까지 넘어갔습니다

 

컴퓨터가 바보라서 그런가, 새로 사야 하나 라는 생각을 했습니다  

그러다가 갑자기 화면이 블랙아웃이 되었습니다 

 

사실 작년 11월달쯤 실습을 하는 중에 컴퓨터가 지금처럼 블랙아웃이 된 적이 있었습니다

7만 원을 주고 센터에서 재부팅 수리를 받았고 기존에 쌓아뒀던 제 데이터들은 깔끔하게 사라졌었습니다 :)

 

그 공포가 다시 되살아난 저는 간신히 제 상태로 돌아와 준 컴퓨터에게 실행을 중단하고 백업 작업을 급하게 시작했습니다 그리고 코랩으로 작업장을 옮겼습니다 코랩도 출력이 되질 않았죠

 

이때 번뜩이는 생각이 났습니다. 바보는 컴퓨터가 아니라 나라면?

제 쿼리를 유심히 봤습니다 

네.. sql를 쪼금이라도 공부하신 분이라면 아주 기초적인 문제를 틀린걸 위 코드를 보며 단번에 아실 테죠

 

원인은 passenger_count, trip_distance, total_amount를 sum도 안 하고 groupby에 넣은 게 문제였습니다 

창피한 관계로 여기서 skip 하겠습니다.. 

 

그리고 30분으로 나누는 코드를 datetime으로 만들고 싶어서 여차저차 수정을 했습니다

(조금은 떳떳한 query)

 30분 단위는 concat을 이용해서 2021-01-20 20:30 형식으로 수정했습니다

이걸 to_datetime으로 타입을 변경해주면 제가 원하는 형식으로 만들 수 있었습니다 :))

 

그리고 기초적인 실수를 저질렀던 부분에는 위 그림처럼 수정해주었습니다

 

아침부터 여기까지 오는데 6~7시간이 걸렸답니다 ㅎㅎㅎㅎㅎㅎㅎㅎ

하지만 덕분에 여러 가지 함수를 볼 수 있었고 

무엇보다 스스로 해냈다는 것에 큰 뿌듯함을 느낍니다 

 

그리고 좀 전까지는 지역별 시각화를 하고 있었는데 

제 생각보다 재밌었습니다 

나의 의도를 시각화로 표현하는 작업이 참으로 흥미롭네요

 

갈길이 멀지만 설레는 마음으로 오늘은 이만 자러 가보겠습니다 

감사합니다