大規模言語モデルのための強化学習｜npaka
以下の記事が面白かったので、軽く要約しました。 ・Reinforcement Learning for Language Models 1. はじめに「ChatGPT」とそれに続く「大規模言語モデル」(LLM)のリリースに伴い、「RLHF」の重要性が議論されました。しかし、なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか疑問に思いました。「教師あり学習」 (Instructionチューニング) で十分ではないでしょうか？ 私は、ある程度納得のいく理論的な議論を思いつきました。そして、特にChatGPTのようなモデルには、強化学習のケースを支持するだけでなく、それを必要とする追加の論拠があることに気がつきました。この追加の議論は、OpenAIのJohn Schulmanによる講演の（前半部分で）綴られています。この投稿は、彼の主張をより多くの言葉で繰り返し、また、明確
ソフトウェアの品質保証のための強化学習｜npaka
以下の記事を参考に書いてます。 ・Reinforcement Learning for Software Quality Assurance 1. はじめに私は最近、強化学習を使用して、エージェントに画像の特徴の選択を教えるプロジェクトに取り組みました。エージェントは非常にうまく機能し、驚くべき結果を上げることができました。そして、このプロジェクトで最も印象的だったのが、エージェントがアプリ開発自体にどのように役に立ったかになります。 アプリを開発し、特定のマイルストーンを作成した時、エージェントに環境をテストさせました。エージェントはアプリにチート可能なルートやバグがあった場合、間違いなくそれを見つけました。実際、このアプリを人間でもテストしましたが、エージェントは一般的にバグをより迅速に発見しました。 以下は、このアプリの詳細記事へのリンクになります。 2. 品質保証の自動化実際、エー
次に来るのはクリエイティブAI、人工知能の6つの波
その次に来たのは「予測型の分析（Predictive Analytics）」。いわゆるビッグデータの処理で、1990年代に始まった。統計的な機械学習の技術を使って、株価や天気や売り上げなど、さまざまなものの予測が始まった。 今来ているのが第3の波の「認知コンピューティング（Cognitive Computing）」だ。いわゆる深層学習（ディープラーニング）や深層強化学習を使って、画像や動画、音声やテキストの理解が可能になった。完全自動運転車は、最も難しかった周囲の環境の認識という問題を、深層学習が解決したことで実現の道が開けた。 第4の波は創造性 次に来る4つ目の大波が「クリエイティブなAI（Creative AI）」だと考えている。既に研究開発は進んでおり、製品に使われるのもすぐだろう。いわゆる生成モデルのディープ・ニューラル・ネットワーク（関連記事）に加えて、進化的アルゴリズム（Evo
自己対局で成長する囲碁AI「AlphaGo Zero」が登場--実力すでに世界最強
Google傘下のDeepMindは米国時間10月18日、囲碁AI「AlphaGo」をさらに進化させた「AlphaGo Zero」を発表した。新たな学習方法により短時間で進化し、わずか3日間の学習で100対0という圧倒的な差で従来のAlphaGoを破るに至ったという。 AlphaGoは2016年、トップ棋士の1人である李世ドル氏に勝利したことで話題となり、2017年5月には「世界最強」とされる中国の囲碁棋士、柯潔氏に3連勝した後、囲碁対局から引退していた。AlphaGoはその後も進化しており、さらに強力となった「Master」バージョンが存在しているが、AlphaGo Zeroは40日後にこのバージョンも追い抜いたという。 DeepMindによると、従来のAlphaGoは、まずアマチュアやプロの棋士による何千もの対局を基に訓練され、囲碁の打ち方を学習する。AlphaGo Zeroはこの手順
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
【ここまで分かれば概要を理解できる】強化学習問題の基本的考え方 - HELLO CYBERNETICS
これまでの記事について 強化学習の狙いや他の手法との違い 強化学習の基本となる行動価値関数 基本的なまとめと、この記事を読む上での事前知識 強化学習問題 強化学習問題の図式化 強化学習の簡易版 実際の強化学習 強化学習問題の概要 時間経過を踏まえた図式化 方策について 強化学習利用に関する話 エージェントと環境の堺 選択肢の境は、完全な制御が可能かで決める 倒立振子ロボット 強化学習の目標とユーザーの目標 強化学習の目標 報酬の設定 最後に これまでの記事について 強化学習の狙いや他の手法との違い 強化学習がどのようなケースに対応していようとしているのか、強化学習だからこそできる他にはない旨味を抑えておくことで、理解が容易になります。 s0sem0y.hatenablog.com 強化学習の基本となる行動価値関数 強化学習では行動価値関数に従って行動の選択を行います。その行動価値関数なるも
強化学習の基本、行動価値関数について - HELLO CYBERNETICS
強化学習での行動評価 学習の仕方の違い（上記の記事の軽いおさらい） 教師あり学習と教示 強化学習と評価 評価をするための行動価値関数 知識利用と探査 行動価値関数 行動価値関数の考え方 報酬の標本平均 漸化式への変形 行動価値関数更新の解釈と拡張 行動価値関数の更新式 指数減衰加重平均更新式 オプティミックス初期値 最後に 強化学習での行動評価 今回の記事は下記の記事の続きという感じで書きます。 以下の記事は強化学習の想定しているシーンや、その特殊な例であるn本腕バンディット問題などについて紹介しています。 s0sem0y.hatenablog.com 学習の仕方の違い（上記の記事の軽いおさらい） 教師あり学習と強化学習の最たる違いは学習の仕方です。 どのような情報を元に学習を行うのかが全く異なります。 教師あり学習と教示 教師あり学習では、あるデータが入力された際にシステムが出力すべき答
《日経Robo》AlphaGo：CNNと強化学習を組み合わせたコンピュータ囲碁
AlphaGoはニューラルネットワークを使い、強化学習を使って学習することで盤面評価を正確に行う1）。入力を19×19（盤面全体）の画像とみなし、前号で紹介したCNN（畳み込みニューラルネット）を利用し、盤面を表現した上で、次の手予測や盤面評価を行う。 AlphaGoは次の4種類のネットワークを学習し、利用する。 強い人による次の手を予測する、正確だが遅いネットワーク pσ 強い人による次の手を予測する、不正確だが高速なネットワーク pπ 盤面が与えられた時、最も勝つ可能性の高い手を予測するネットワーク pρ 盤面が与えられた時、どちらが勝つかを予測するネットワーク vθ 教師あり学習や強化学習を活用 これらのネットワークをどのように学習するかを順に説明する。 はじめに、強い棋士の指し手をまねるように次の手を予測するニューラルネットワークpσを作る。この学習には、オンライン囲碁サイトKGS
【これからの強化学習】 Gunosy データマイニング研究会 #118 を実施しました - Gunosyデータ分析ブログ
gunosy-dm.connpass.com こんにちは。グノシー開発部のアルシャマンです。最近は、KID FRESINOのSalve feat. JJJをよく聴いています。 今日は4/12（水）に開催したGunosy DM #118について紹介します。前回に引き続きこれからの強化学習の1.3~1.5節の輪読と、論文紹介を行いました。 Gunosy DMとこれからの強化学習については、以下のブログ記事で紹介しています。 data.gunosy.io 書籍輪読（これからの強化学習） データ分析部の大曽根と吉田からそれぞれ1.3~1.4節と1.5節についての発表がありました。 1.3節では、MDP（マルコフ決定過程）における価値関数の表現と、それを推定するアルゴリズムについて学びました。具体的には、ある方策πのもとでの行動価値関数について成立する再帰式であるベルマン方程式とSarsaという学習
ゼロから創る tensorflow + reinforcement learningを使ったディープラーニングもどき - コンピュータ将棋 Qhapaq
注：今回の記事は完全にプログラマ向けの解説記事です ソースコードの閲覧、ダウンロードは此方からどうぞ GitHub - qhapaq-49/tf_reinforcement: tensorflowを使った簡単(300行弱)なreinforcement learning 【今回作りたいもの】 囲碁やポーカーのAIで度々注目されているディープラーニングを使った強化学習。時代の先端を走るゲームAI開発者的には是非覚えておきたいスキルの一つです。といっても、強化学習の動作原理自体は下記の図のようにシンプルなものです。本稿では下記図の流れを一通り搭載したスタンドアロンで動く強化学習ルーチンを紹介します（上述のgithubのコードを見ながら読まれることをオススメします）。 【本稿で扱うゲームのルール】 本稿ではニューラルネットで動く競りゲームのAIを作ります。競りゲームとは ・初期所持金１０のプレイヤ
機械学習・ディープラーニング・強化学習・ベイズを学べる無料講座 - HELLO CYBERNETICS
はじめに ここでは、機械学習、ディープラーニング、強化学習、ベイズを無料で学ぶことのできるオンラインリソースを項目ごとにまとめておきます。 機械学習 ITについて学べるオンライン講座「Udacity」は、基本的に有料で講座を受けるのですが、中には非常に中身の詰まったコンテンツで、かつ無料の講座も存在します。 以下の講座では、機械学習の各技術に関して広くカバーしており、決定木からサポートベクターマシン、ニューラルネットワークやベイズ、強化学習まで学ぶことができます。 かなりのボリュームなので興味のあるところを学んでいく感じでも良いと思います。 www.udacity.com s0sem0y.hatenablog.com s0sem0y.hatenablog.com ディープラーニング 同じくUdacityからディープラーニングに関する講座です。 多層パーセプトロンから畳み込みニューラルネット
強化学習入門 ～これから強化学習を学びたい人のための基礎知識～ - Platinum Data Blog by BrainPad
こんにちは。アナリティクスサービス本部の仲田です。 本日は、「強化学習」について、その基礎的なアルゴリズムと、簡単なデモをご紹介します。 強化学習とは機械学習の手法のひとつ (画像はhttps://www.engadget.com/2016/03/12/watch-alphago-vs-lee-sedol-round-3-live-right-now/より) 「強化学習（Reinforcement Learning）」と呼ばれる学問分野をご存知でしょうか。 機械学習にはさまざまな分類方法がありますが、「教師付き学習（Supervised Learning）」「教師なし学習（Unsupervised Learning）」「強化学習」という3種類に分ける考え方があります。 この考え方では、強化学習は機械学習のひとつの大きな分野をなすということになります。 (画像は UCL Course on
ゼロからDeepまで学ぶ強化学習 - Qiita
ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開催しました(PyConJPのTalkの増補改訂版) Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料の方が図解が豊富なので、数式とかちょっと、という場合はこちらがおすすめです。 Tech-Circle #18 Pythonではじ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【森山和道の「ヒトと機械の境界面」】 破壊的な深層学習強化を進めるPreferred Networks ～変革の波をまとめてさらに大きな波を作り出す