【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成｜tanikawa

【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成｜tanikawa

Abstract• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コスト...概要を表示 Abstract• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コストを抑えつつ Transformer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transformer モデルを考案 • 生成にかかる時間を Transformer の約 1/3（CPU 実行時）に抑えることができた はじめにTransformer は現在の自然言語処理分野における代表的な深層学習モデルの1つです。さまざまなベンチマークを総なめにした Google の BERT とその派生系 (XLNet, ALBERT, etc.) や、OpenAI の GPT-2 など、最近の研究のベースにあるのが Transformer です。 Transformer の特徴として、LSTM などの従来の RNN にあっ

• LSTM