はじめに この度、強化学習によるテトリスの AI を作成してみました。想像以上にうまくいき、最終的には半永久的にラインを消してくれる AI に成長してくれたので、今回はその記録として AI を作成した過程をここに記していきます！ 今回の AI の概要 今回作成したテトリス AI の概要は以下の通りです。 特定のゲームの状態から可能な行動パターンを全てシミュレーションする 行動後の状態を入力情報として Neural Network に今後の報酬の期待値を推測させる 今後の報酬の期待値が一番高くなる行動を実際の行動として選択して遷移する (貪欲方策) Game Over になるまで 1 ~ 3 を繰り返す Tetris AI を可視化した図 何も知らない頃は『AI ってどうやって動いてるんだ？』と自分は思っていたんですが、動作原理は非常にシンプルです。強化学習とは、この今後の報酬の期待値を推測

この記事は自作している強化学習フレームワークの解説記事です。 はじめに 今までフレームワークを通じて様々な強化学習アルゴリズムを実装してきました。 今回その知識を生かしてオリジナルなアルゴリズムを考えてみたので記事にまとめてみます。 このアルゴリズムは以下の状況でかなりの精度を誇ります。 マルコフ決定過程なモデル 状態が離散で現実的な数 行動が離散で現実的な数 ※"現実的な数"というのは数に上限があり、その上限がそれほど大きくない場合を指します 基本アイデア 基本的なアイデアは探索（Exploration）と活用（Exploitation）の分離です。 強化学習では一般的に「探索と活用のトレードオフの問題」1があり、探索を優先すると報酬が少なくなり、活用を優先すると局所解に陥る可能性が高くなる問題があります。 私が過去に記事で取り上げた手法では、どれも探索と活用のバランスをとり学習を進めて

はじめに どうもこんにちは、kunishouです。本記事は LLM Advent Calendar 2023 18日目の記事になります。LLMアドカレも終盤に差し掛かかってきました。私は今回のLLMアドカレでは、データセットに関する2つの記事を投稿してきましたが、今回は、データセットの話ではなく LLM の強化学習、モデル最適化について紹介したいと思います。 本記事について 本記事は LLM における強化学習と Direct Preference Optimization （ DPO ）を適用することによる LLM の安全性能への影響について検証した記事になります。なお、強化学習や DPO の詳細な理論については、本記事では説明しない点についてはご了承下さい。 モチベーション 強化学習、モデル最適化の定量的な効果への興味 LLMの開発フェーズには、ベースモデルを作る事前学習フェーズと、ベー

はじめに ABEJAアドベントカレンダー2023の11日目の記事です。この記事では不完全情報ゲームを解くための手法であるDeepNashについて紹介します。DeepNashはMastering the game of Stratego with model-free multiagent reinforcement learning（arXiv： Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning）で提案されたモデルフリー強化学習をベースとした手法です。通常、強化学習を用いる場合エージェントが対戦相手に勝つことを目的として学習を行います。一方でDeepNashでは相手に勝つことを直接目指すのではなく、ナッシュ均衡を目指します。ナッシュ均衡を目指すことで相手がどんな手を打ったとしても

久しぶりのQiita投稿です．現在，三菱UFJフィナンシャル・グループの戦略子会社であるJapan Digital Design株式会社でリサーチャーをしています．こちらは，Japan Digital Design Advent Calendar 2023 の７日目の記事になります！ 本記事では，「強化学習を使ってポケモンをプレイする動画」についてご紹介させていただきます！ ※ 動画内容の切り抜き利用につきましては，Peter Whidden氏の許可を頂いております． ※ 本記事では，ポケモンをプレイするための技術を解説していきますが，動画で見た方が面白いので，ご興味のある方はぜひご覧になってみてください！ 導入 みなさま強化学習（reinforcement learning）をご存知でしょうか？ 強化学習とは，機械学習の手法１つで，エージェント（AI）が環境とのやり取りを通じながら，累積

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

本資料は，東京大学松尾研究室で開催された強化学習セミナーの講義資料をもとに，講演目的でより初学者向けに内容を調整したものです．特に強化学習で最も基本的かつ最重要手法であるQ学習や，それの深層強化学習版のDQN（Deep Q-Network）を中心に解説しています. 昨今，ChatGPT等の大規模言語モデル（LLM）の開発に強化学習が使用（RLHF等）され，さらに強化学習をLLMに本格的に組み込んだAI（ GoogleのGemini，OpenAIのQ*等）の出現が予想されることから，�強化学習の知識の普及のため公開しました.

強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ

今回は、何も知らないところからバンディットアルゴリズムを学びました。 シンプルなバンディットアルゴリズムから、各ユーザーごとに最適化するContextual Bandit、順序を最適化するCascading Banditまで解説します。 学んでいて疑問に思ったことを解消しつつ記載しています。 ソースコード https://github.com/birdwatcherYT/bandit 対象読者 バンディットアルゴリズムを理解して実装したい人 ユーザーごとにカスタマイズしたバンディットを理解して実装したい人（Contextual Bandit） 順序を最適化するバンディットを使いたい人（Cascading Bandit） バンディットアルゴリズム バンディットの問題設定を説明します。 スロットマシンN台がある スロットマシンの腕を引くと報酬がもらえる 累積報酬を最大化したい バンディットアル

この記事は自作している強化学習フレームワークの解説記事です。 以前書いた記事とほとんど同じ内容ですが、フレームワーク用に改めて書きました。 以前の記事：第6回 今更だけど基礎から強化学習を勉強する PPO編 PPO(Proximal Policy Optimization) 方策を直接学習するアルゴリズムとして方策勾配法がありました。（方策勾配法についてはこちらの記事を参照） 方策勾配法は方策の更新として方向のみしか教えてくれず、更新幅が分からないという問題がありました。 方策の大幅な変更は方策が劣化する可能性があります。 方策が劣化すると報酬の少ないサンプルのみを収集し、更に方策が劣化するという悪循環に陥る可能性があります。 そこで、TRPO(Trust Region Policy Optimization)では方策の大幅な変更を回避するために、更新幅に制約を設けて学習する手法を提案しま

画像の認識・理解シンポジウム（MIRU2023）チュートリアル

人工知能（AI）の進化がもたらす人類滅亡の危機がメディアを騒がせる中、米連邦取引委員会（FTC）は、同分野の企業の安全性におけるレースの審判員になろうとしている。 FTCは先日、ChatGPTの開発元のOpenAIに20ページにおよぶ書簡を送り、AIの「安全性の課題」に関する記録の提出を要請した。彼らが特に関心を示しているのは、個人の評判や個人情報に対するリスクだ。 OpenAIのGPT-4のような大規模言語モデル（LLM）は、「幻覚（ハルシネーション）」と呼ばれるつくり話をでっち上げる傾向がある。FTCは、消費者保護の試みの一環として、OpenAIが個人への「風評被害」につながりかねない幻覚を、軽減または防止するために何をしているかを調査している。 FTCのリナ・カーン委員長は5月にAI分野の競争を公正なものにすると同時に「これらのツールを使用する詐欺師だけでなく、それを提供する企業にも

今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに

RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに

Impact AlphaDev discovers faster sorting algorithms Published 7 June 2023 Authors Daniel J. Mankowitz and Andrea Michi New algorithms will transform the foundations of computing Digital society is driving increasing demand for computation, and energy use. For the last five decades, we relied on improvements in hardware to keep pace. But as microchips approach their physical limits, it’s critical t

RLHF（Reinforcement Learning from Human Feedback：人間のフィードバックからの強化学習）とは？：AI・機械学習の用語辞典 用語「RLHF」について説明。人間のフィードバックを使ってAIモデルを強化学習する手法を指す。OpenAIのChatGPT／InstructGPTでは、人間の価値基準に沿うように、言語モデルをRLHFでファインチューニング（微調整）している。 連載目次 用語解説 RLHF（Reinforcement Learning from Human Feedback）とは、「人間のフィードバックからの強化学習」という名前の通り、人間の価値基準に沿うように、人間のフィードバックを使ってAI（言語）モデルを強化学習で微調整（ファインチューニング）する手法である。なお強化学習とは、フィードバック（報酬や罰）に基づいて学習する方法のことだ。 R

ゲームAI、メタバース、スマートシティについて解説します。