본문 바로가기
728x90

전체 글

 (219)
2021-06-07(태양열 에너지 예측18) 야태가지는 파라미터를 찾기위해서 데이터중 일부만 돌렸습니다.(시간이 너무 오래 걸리고 메모리 문제때문에 축소) 그리고 나름의 최적 파리미터를 결저하고 본격적으로 원본 데이터에 딱 돌려봤는데 다른 패턴과 함께 고난이 시작된것같아요; 역시 생각처럼 쉽게 되질 않습니다 계절성을 1회 차분한 모습입니다. 24마다 튀는 값이 보입니다. 각 포인트 마다 네개정도가 함께 튀고 있습니다. 지금에 와서야 경우의 수를 파악하기란 비효율적인것같아서 내일은 auto.arima 를 시도하여 자동으로 파리미터를 찾아 볼까 합니다. 주말에 책 한권을 구매 했고 오늘 도착했습니다. "실전 시계열 분석" 이라는 책인데 난이도가 확실히 높더라구요 대회 마감까지 약 한달 조금 있는데 이 기간 동안 쭉 한번 읽어 볼려고합니다. 오휴 6시 ..
2021-06-05(태양열 에너지 예측17) 어쩔수 없이 수동으로 돌리고 있습니다 이게 맞는 방법인지 ㅎㅎㅎ 모르겠지만 acf, pacf 보면서 조절중인데 가자 낮게 나온 점수가 4.94 였습니다. 위 사진은 target만 고려 했을때의 결과이고 현재는 변수들까지 포함시켜서 진행중입니다.설명변수를 넣으니까 acf,pacf가 갑자기 크게 변해서 시간 좀더 걸릴것같아요 다른 방법을 찾아야 할것같은데 지식이 부족한 것같습니다 그래서 오늘 시계열 데이터 책을 구입했습니다 쭉 보면서 공부도 하고, 좋은 방법이 있는지 찾아봐야겠습니다
2021-06-04 기록 오늘은 태양열 에너지 SARIMAX 모델 돌리면서 자소서 & 공고를 확인했습니다. 취업시장이 확실히 안좋은게 느껴집닌다 새로운 공고가 뜨질 않고 있더라구요 대부분 경력직을 뽑고,, 신입은 석사급을 우대하고,, 저처럼 애매한 사람들은 취업하기가 확실히 힘든것 같습니다 그건 그렇고 오늘 사리마 파라미터 중 계절성을 조금 올리니까 메모리 부족이 또 떴습니다 빠른 시일내에 어떻게 할건지 정해야 합니다. 내일까지 시도해보고 뭔가 다른 결단을 내려야 하지 않나 싶습니다.
2021-06-03(태양열 에너지 예측16) 6월달에 들어서 처음으로 업로드 합니다 집안에 안좋은 일이 계속 겹쳐 일어나서.. 요근래 정신을 못차리고 있습니다 업로드 늦은점 양해 바랍니다 요 근래는 SARIMAX의 파라미터를 찾는데 포커싱 하고 있습니다. for문으로 자동화 하면 메모리가 감당을 못해서 따로 돌리는데 한번 돌릴때 수십분 잡아 먹더라구요 그 간 변동된 점을 정리 해보면 1. target 데이터 2018~2020년도 중 2020년도 데이터만 따로 뽑았습니다 -> 메모리 부족때문에 최근 1년치에서 파라미터를 찾기 위함 2. 1년치 데이터에서 SARIMAX의 CV 점수는 4.97를 기록함(데이콘 베이스 코드에서의 점수는 8점대) 지금 고민인 점은 아래 그림처럼 acf, pacf에서 추세 파리미터는 잠잠 해졌는데 계절성 부분에서 튀는 값이 ..
2021-05-31(태양열 에너지 예측15) 오늘도 저번 작업에 이어서 모델링 작업을 하고 있습니다. r의 forecast 패키지를 파이썬에서 할려고 하니까 갖은 오류에 막혔습니다 마감시간은 가까워지고.. 살짝 조급해 집니다 target의 정상성을 아직 확보를 못했습니다. sarimax의 차분의 수, ar,ma를 조금만 높히면 메모리 부족으로 인해 오류가 뜹니다.. 코랩pro의 메모리가 25기가 인데 말이죠; acf,pacf plot을 보면 실험 하고 싶은 경우의 수가 많은데 결과를 보지 못하니까 너무 상당히 꽤 크게 안타깝습니다 다른 모델을 적용해야 할것 같아서 ExponentialSmoothing 을 이용해 봤습니다. 이론 강의에서 살짝 배우긴 했는데 기억이 잘 나지 않더라구요 맘 같아선 재 수강을 또 하고 싶지만 급한 관계로 일단 패스했습니다..
2021-05-27~8(태양열 에너지 예측13,14) 어제부터 오늘까지는 부득이한 집안일 사정때문에 업로드 및 진도에 차질이 잠시 있었습니다. 조금씩 진도 나갔던 부분을 짧게나마 기록하겠습니다. 저번시간에는 SARIMA 파라미터에 있어서 log 전/후 결과값에 차이가 있었습니다. 그래서 log 후 SARIMA 적용을 했을때 등분산과 자기상관이 조건에 만족하는지에 대한 파라미터를 실험해 봤습니다. 실험결과 특이사항은 없었습니다. 몇 주전에 진도 나갔던 코드 내용을 보니까 트렌드 차분+계절성 차분+ log 한 값이 정상성 상태와 가장 흡사했기 때문에 그대로 SARIMA에 적용해 봤는데도 결과가 전과는 다르게 나왔습니다. 정리가 필요해 보여서 version1,2를 나눠서 전처리 방식을 조금 다르게 설정했습니다. 스케일링 부분과 target의 log, 설명변수의 ..
2021-05-26(딥러닝 수학7_이론 실습) 딥러닝 수학5에서 다룬 내용을 가지고 실습을 하는 시간을 가졌습니다. 먼저 데이터를 생성하는데 y= 5x 라는 방정식 데이터를 100개 만듭니다. (5는 실제 theta이고, 학습을 통해서 따로 설정한 세타 초기값 -1이 5로 어떻게 변해가는지를 실습할 예정) import matplotlib.pyplot as plt import numpy as np from dataset_generator import dataset_generator #강의에서 제공됨을 알립니다. import basic_nodes as nodes #딥러닝 수학5에서 만들었던 node들 입니다. #dataset preparation dataset_gen = dataset_generator() dataset_gen.set_coefficien..
2021-05-25(태양열 에너지 예측12) 어제 진행했던 sarimax의 파라미터를 보완하기 위해서 여러가지를 시도했습니다. 한번 시행하는데 시간이 워낙 많이 걸려서 진도는 제자리 였지만 몇가지 알수 있었던 점은 target를 log화 하면 AIC가 감소 한다는 점입니다. log를 한다고 무조건 감소하진 않는다고 합니다. log는 작은 단위 값을 크게 만드는데 용이한데, 본래 큰 사이즈를 log화 하면 오히려 성능이 나빠진다고도 합니다. 실제로 몇 주전에 log의 성능을 알아보려고 실험했던게 기억이 납니다. 그 당시 결과는 log 화 하면 성능이 나빠진 걸로 기억합니다. 그런데 이번 실험에서는 log를 취한 AIC값이 더 낮으니 혼란이 옵니다. 하기 전에는 AIC는 260000 대 였고 log 후 AIC는 20000대 였습니다. 상당히 큰 차이를..

티스토리툴바