基本的なRecurrent Neural Networkモデルを実装してみた - Qiita
Recurrent Neural Network（再帰型ニューラルネット）に関心はあるが，なかなかコード作成に手がつかない，このようなケースが多くないだろうか？理由はいくつかあるが，私の場合は次のようなものが思い当たる． 単純にネットワークの構成が複雑．MLP(Multi-layer Perceptron)から入門してCNN(Convolutional-NN)に進むまでは，特殊なLayerがあるにせよ，信号の流れは順方向のみであった．（誤差の計算は除く．） MLPやCNNにおいては分かりやすい例題，（Deep Learningの’Hello World'と称される）"MNIST" があったが，そのような標準的な(スタンダードな）例題がRNNにはない． 因みにTheanoのDeep LearningやTensorFlowのTutorialは，言語モデルを扱ったものである．言語モデルに精通され
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
KerasのRNNでFizzBuzzを行う(+ Epochスケジューラの提案) - にほんごのれんしゅう
KerasのRNNでFizzBuzzを行う(+ Epochスケジューラの提案) ディープラーニングをやるようになって半年程度経ちました ある程度ならば、文章や画像判別モデルならば、過去の自分の資産をうまく活用することと、外部からState of the Artな手法を導入することで、様々なネットワークを組むことが可能になってまいりました しかし、基礎の基礎であるはずの、Fizz Buzzをやるのを忘れていたのです やるしかありません 先行研究 Fizz Buzz in TensorFlow Fizz Buzz Keras 全結合のモデルでの、Fizz Buzzの評価のようです 提案 RNNでも、FizzBuzzは可能なのではないでしょうか 全結合層のモデルのみで、1000 ~ 5000程度のデータで学習させることが多いですが、20万件のデータセットで学習させることで、より大きな数字にも対応
グーグル、手描きイラストの続きを自動描画「sketch-rnn」--ニューラルネット応用
Googleは、ニューラルネットワーク技術の応用事例として、ユーザーが途中まで描いた絵の続きを自動的に描いて完成させてくれるサービス「sketch-rnn」を提供開始した。 このサービスは、リカレント（再帰型）ニューラルネットワーク（RNN）技術を利用し、ユーザーの描き始めた絵からどのように描き進めるかを推測して、ユーザーが手を止めると続きから描き始めるサービス。ただし、描く際には「cat」「pineapple」「bicycle」「face」など、何を描くつもりなのかを用意されてたモデルから選ぶ必要がある。sketch-rnnが描画を開始しても、ユーザーが描くことを再開すると描画を待ってもらえる。
TensorFlow(LSTM)で株価予想 〜 株予想その１ 〜 - Qiita
はじめに 新しく株投資の勉強を始めるのでそのメモを残していきます。 目標、機械学習やディープラーニングを使って株価予想します。 勉強を始めるにあたり、先ずは以下の本を確認。 ※ 株が動く条件は「業績がよい」「PERが低い」「チャートの形が良い」らしい。 各々スクレイピングで持ってきて予測していきたいと思います。 [補足] 普段は株以外に競馬予想 sivaを運用しています。 連対的中率 ： 約 86% 回収率 ： 約 136% twitter始めました。 フォローお願いします。 なぜ株か？ 以下の見解から株を選んでみました。 ◆ 競馬などのギャンブル 0 or 100のリターンも大きいがリスクが大きい。 ◆ FX 儲かる人の反面に損する人がいるので、性分に合わない。 ◆ bitcoin 価値が確立されてないので、暴落の恐れも考えられる。 ◆ 株 株に関してはみんなが儲かる仕組みである。 先ず
RNNでプログラミング言語の構文エラーを自動修復する衝撃
コンパイルエラーの問題点 DeepFix Iterative Repair まとめ 参考文献 プログラミング言語のコンパイルエラーを自動で検知して修復することができたら、プログラマの作業時間を減らせる可能性があります。もしくは、テキストエディタがプログラムを書いている最中に、エラーだろうと思われる構文を見つけたときにさり気なく教えてくれたら生産性が著しく向上することも考えられます。 “Software is eating the world.“という言葉は、マーク・アンドリーセンの提唱した言葉です。まだまだ「食い尽くす」ほどではないものの、徐々にその影響力は高まっていると感じます。ソフトウェアを開発する必要性が増すにつれて、ソフトウェアエンジニアも次第に求められていくことでしょう。そして、そのプログラマの仕事の大部分はデバッグに費やされます。 バグや構文エラーを自動検知するシステムがテキス
再帰型ニューラルネットワーク: RNN入門 - Qiita
再帰型ニューラルネットワーク(RNN)は自然言語処理の分野で高い成果をあげ、現在最も注目されているアルゴリズムの一つです。しかしながら、その人気が先走りして実際にRNNがどのように動くのか、構築するのかを解説する書籍は限られているように思います。この投稿はその部分にフォーカスを当てて友人のDenny（WildMLブログの著者）と一緒に書きました。 さてRNNベースの言語モデルを解説したいと思います。言語モデルの用途は2つあります。1つ目は文章が実際にどのくらいの確率で現れるのかのスコアリングをすること。このスコアは文法的に、セマンティクス的に正しいかどうかの判断基準となります。このようなモデルは例えば機械翻訳などに使われています。次に2つ目ですが、言語モデルは新たなテキストを生成することができる点 (ちなみに個人的にこちらの方がよりCoolな用途だと思っています)。また、英語ですがAndr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
