ニューラルネットワークに基づく時系列予測手法まとめ: LSTNet, RNN, LSTM, GRU - 元コンサルでデータサイエンティスト

ニューラルネットワークに基づく時系列予測手法まとめ: LSTNet, RNN, LSTM, GRU - 元コンサルでデータサイエンティスト

LSTNetの論文*1を読む機会があったので、関連手法であるニューラルネットワークをベースとした時系列予...概要を表示 LSTNetの論文*1を読む機会があったので、関連手法であるニューラルネットワークをベースとした時系列予測の手法についてまとめました。本記事では、RNNをはじめとして、その派生であるLSTM、GRU、LSTNetについて紹介していきます。 RNN (Recurrent Neural Network) RNN(Recurrent Neural Network) とは、ある層の出力を別の層の入力として利用するような再帰的構造を持ったニューラルネットワークです。 RNNの各時刻における中間出力は隠れ状態と呼ばれ、これは当該時刻tの時系列情報と前時刻t-1の隠れ状態を組み合わせて活性化したものです。 tanh(ハイパボリックタンジェント）を使った活性化は下式のように表すことができます。 RNNのメリットは、独立した各時点での情報だけでなく前後の時系列情報を活用することができることです。一方で、RN