본문 바로가기

Time Series Analaysis

Linear Gaussian State Space Model
Time Series Analaysis/Time Series Analysis 2024. 6. 10. Linear Gaussian State Space Model 본 글에서는 State Space Model 중 Gaussian State Space Model에 대해 살펴보고자 합니다. [참고자료]Time Series Analysis and Its ApplicationsLinear Gaussian State Space ModelStanford Lecture Note: Linear Gaussian State Space Model1. State Space Model(SSM)상태 공간 모형(State Space Model)은 시계열 데이터 모형으로 크게 상태 방정식(state equation)과 관측 방정식(observation equation)으로 이루어집니다. ▶ 상태 방정식(state equation)$x_t$:  state process(hidden or late..
Multi-Scaled Convolutional Recurrent Encoder Decoder(MSCRED) for Anomaly Detection
Time Series Analaysis/Time Series Anomaly Detection 2024. 1. 30. Multi-Scaled Convolutional Recurrent Encoder Decoder(MSCRED) for Anomaly Detection 본 글은 다변량 시계열 데이터 기반 이상치 탐지 방법론 Multi-Scaled Convolutional Recurrent Encoder Decoder(MSCRED)에 대한 설명을 논문 "A Deep Neural Network for Unsupervised Anomaly Detection and Diagnosis in Multivariate Time Series Data(2019)"을 바탕으로 작성하였습니다. ▶ 다변량 시계열 데이터 기반 이상치 탐지의 중요성다변량 시계열 데이터 기반 이상치 탐지는 특정 시점(time step)에서 비정상 상태(abnormal status) 여부를 확인(탐지)하는 것입니다. 이상치 탐지는 재정 손실 또는 기업 손실을  피하기 위해서 매우 중요하며 작동자(Operator)에..
Convolutional LSTM network(ConvLSTM)
Time Series Analaysis/Time Series Analysis 2024. 1. 29. Convolutional LSTM network(ConvLSTM) 본 글에서는 Long Short Term Memory(LSTM)에 convolution structure를 추가함으로써 temporal correlation(시간 의존성)뿐만 아니라 공간 데이터(spatial information)도 다루는 Convolutional LSTM network에 대해 설명하도록 하겠습니다. 즉, ConvLSTM은 시공간 데이터(spatial-temporal data)를 기반으로 미래 시점을 예측하고자 제안되었으며 논문 "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting(2015)"을 바탕으로 작성하였습니다. ▶ Background ConvLSTM에 대해 본격적으로 설명하기에 ..
LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection(EncDec-AD)
Time Series Analaysis/Time Series Anomaly Detection 2024. 1. 29. LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection(EncDec-AD) 본 글은 다변량 시계열 데이터 이상치 기반 모델인 LSTM-based Encoder-Decoder(EncDec)에 대해 논문 [LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection(EncDec-AD)(2016)]을 바탕으로 작성하였습니다. Long Short Term Memory Networks based Encoder-Decoder for Anomaly Detection(EncDec-AD)는 정상 시계열 데이터 재건축(reconstruct)을 목적으로 학습하며 reconstruct error를 기반으로 이상치(anomaly)를 탐지하는 모델입니다. ▶ Main Idea of EncDec-AD LSTM based encoder: 시계열 데이터의 입..
Gated Recurrent Unit(GRU)
Time Series Analaysis/Time Series Analysis 2024. 1. 23. Gated Recurrent Unit(GRU) Recurrent Neural Network(RNN)은 순서가 있는 데이터(시계열 데이터)에서 의미를 찾아내기 위해 고안된 모델로 기울기 소멸 문제(vanishing gradient problem)가 존재합니다. RNN 단점을 보완한 모델로 Long Short Term Memory(LSTM)과 Gated Recurrent Unit(GRU)가 있습니다. LSTM은 은닉층의 각 노드(혹은 뉴런)에 망각 게이트(forget gate), 입력 게이트(input gate), 출력 게이트(output gate)를 추가하여 cell state의 정보 흐름을 제어합니다. LSTM은 복잡한 구조 때문에 많은 파라미터가 필요하여 데이터가 충분하지 않은 경우 오버피팅 문제가 발생합니다. 본 내용은 LSTM보다 구조가 더 간..
Long Short Term Memory(LSTM)
Time Series Analaysis/Time Series Analysis 2024. 1. 22. Long Short Term Memory(LSTM) 본 글에서는 Long Short Term Memory(LSTM)에 대해 살펴보도록 하겠습니다. 이전글에서 살펴보았던 Recurrent Neural Network(RNN)은 파라미터(parameter)가 업데이트 되는 과정에서 기울기가 1보다 작은 값이 계속 곱해짐으로써 기울기가 사라지는 기울기 소멸 문제( vanishing gradient problem)가 존재합니다. 이에 대한 해결방안으로 LSTM은 은닉층의 각 노드(혹은 뉴런)에 망각 게이트(forget gate), 입력 게이트(input gate), 출력 게이트(output gate)라는 새로운 요소를 추가하였습니다. ※ 그림 참고자료: Understading LSTM networks ▶ LSTM의 key point망각 게이트(forget gate..

티스토리툴바