은대생에서 은로그래머까지

AutoEncoder 모델을 활용한 이상 징후 감지- 대표적인 비지도 딥러닝 모델 AutoEncoder- 데이터에 인코딩된 표현을 학습한 다음, 학습된 인코딩 표현에서 입력 데이터를 가능한 한 가깝게 생성하는 것이 목표- 인풋이 인코더를 통해 압축, 압축된 데이터를 디코더를 통해 확장(복원) 1. 인코더(Encoder): 데이터를 저차원의 공간으로 축소 (입력을 내부 표현으로 변환)2. 디코더(Decoder): 축소된 데이터를 다시 입력 데이터의 차원으로 복원 복원 이유복원해서 인풋과 아웃풋을 가깝게 만들기 위한 핵심을 찾는 것 AutoEncoder에서의 접근 방식- 입력값과 출력값 차이(diff)하고 최대한 줄이기 위한 것- 입력과 동일한 출력값이 나오도록 둘의 차이를 줄이면서 학습- 손실 함수로 MS..

RNN 기반 딥러닝 모델- RNN (순환신경망, Recurrent Neural Network)- 반복적이고 순차적인 데이터 학습에 특화된 인공신경망의 한 종류- 순환 구조를 이용하여 과거의 학습을 가중치를 통해 현재 학습에 반영- 입력이 들어오면 반복적으로 과거 정보를 반영함으로써 네트워크 업그레이드 RNN(순환 신경망)과 CNN(합성곱 신경망)- 현재를 알기 위해 과거 정보를 함께 반영해 예측 → RNN[ CNN ]- 모든 패턴을 요약하는 개념- 기존에 담고 있는 이미지 데이터가 요약된 변수로 바뀌는 것- 합성곱 개념을 통해 추출된 특징을 반영하는 모델지엽적인 정보를 추출하는 데에 유용 RNN- 데이터의 입력과 출력을 다양하게 할 수 있음- 시퀀스 길이에 관계 없이 인풋과 아웃풋을 받아들일 수 있는 네..

Prophet 모델을 이용한 이상치 탐지- 페이스북에서 공개한 시계열 예측 라이브러리- 가법 모형에 기반한 고전적인 통계적 기법을 발전시킨 방법→ 즉, 추세와 계절성, 주기를 독립적으로 표현(T + S + C)하는 고전적 방법을 발달시킨 방법 기존의 시계열 모델을 보완하기 위하여 탄생 기존 시계열 모델 사용 시 문제점1. 완전 자동화 되는 시계열은 튜닝하기 어렵다2. 기업 도메인 지식이 뛰어난 사람은 시계열에 대한 지식이 부족하다 Prophet 장점1. 트렌드와 주기적 특성 모델링 가능2. 예외적이고 이벤트와 같은 휴가철 상황도 모델링 가능 (optional)3. 정확도가 높고 예측이 빠름4. 직관적인 파라미터로 모델 수정이 용이 기본 3 요소1. g(t): 주기적이지 않은 변화인 트렌드2. s(t): ..

해당 프로젝트를 통해 학습하게 될 알고리즘 종류 [ ARIMA 모델 ]- 전통적인 통계 추론 알고리즘- 파라미터를 기반으로 어떤 패턴이 미래에 나타나게 될지 실제로 예측하는 알고리즘 [ Prophet 모델 ]- 페이스북에서 개발- 세부적인 것은 분석가에게 맡기는 알고리즘- 이론적으로 방정식에 완벽히 맡기는 것이 아니라 분석가가 진행→ 거기에 맞춰 좀 더 정규하게 찾아주는 알고리즘 [ LSTM, AutoEncoder ]- 뉴럴 네트워크, 딥러닝 알고리즘- ARIMA, Prophet과는 다르게 특별한 파라미터 결정 X→ 학습하고 모델링 할 때 필요 X 시계열 데이터 - 시간 정보가 포함되어 있는 데이터는 어떻게 핸들링하는지- 어떻게 알고리즘에게 시간적 패턴도 학습시키고, 미래를 예측할 수 있을지- 시간에 걸..