Google DeepMind、LLM採用AIシステム「FunSearch」で数学的難問を解決
米Google傘下のGoogle DeepMindは12月14日（現地時間）、LLM（大規模言語モデル）とLLMによる幻覚（ハルシネーション）を防止する“評価器”を組み合わせた新たなシステム「FunSearch」を発表した。長年解決不可能な数学問題とされてきた「Cap set問題」を解き、実社会でも役立つ「ビンパッキング問題」のための効果的なアルゴリズムを発見したという。 FunSearch（funは「楽しい」ではなく、「関数」に由来する）は、GoogleのLLM「PaLM 2」をコンピュータコードで微調整したバージョンの「Codey」を使っている。LLMは不正確な情報を幻覚させることが分かっているため、LLMの出力から不正確だったり無意味だったりする部分を拒否する“評価器”アルゴリズムを組み合わせているという。 FunSearchはLLMと評価器による出力と評価を反復させていくことで、自
“数学特化”の大規模言語モデル「WizardMath」 米Microsoftなどが開発 Llamaモデルを強化
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftと中国科学院に所属する研究者らが発表した論文「WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct」は、数学的推理能力を強化するモデルを提案した研究報告である。このモデルは、オープンソースの事前学習済み大規模言語モデル（LLM）である「Llama-2」に対して適用することで実現する。 米MetaのLlamaモデルシリーズは、オープンソース革命を引き起こし、クローズドソースのL
ChatGPT(GPT4)と一緒に代数学を勉強してみたらなんか謝られた - ashiato45の日記
これは何？ 最近ちびちび宮西正宜・増田佳代さんの「代数曲線入門」を読んでいるのですが、わからないところにあたったときに片手間の数学だとなかなか進まないものです。 代数曲線入門 作者:正宜, 宮西,佳代, 増田共立出版Amazon そんな折OpenAIのChatGPTの新バージョン、GPT4の性能が高いと聞いたので、「試してやろう」とかそういう気持はなく、単に一緒に学ぶパートナーとしてGPT4を試してみることにしました。 わからなかったところ 2.3節「代数曲線の局所環」で、Cをf(X,Y)=0で定まる既約代数曲線とし、Rを座標環k[X, Y]/f(X, Y)としたとき、Cの点とRの極大イデアルが一対一対応するという話をしています。ここで、極大イデアルから点をつくり、そこからまた同じ極大イデアルに戻るところを議論するところで次のように書いてあります。ここで、θはk[X,Y]からRへの全射です
チャットAIに大学初年次の数学(解析学)をやらせてみる (ChatGPT, Bing)
2023の2022乗がちゃんとわからないという数学が不得意なChatGPT、果たして大学の1年生で学習する数学 (解析学) に出てくる証明はできるのでしょうか。 ChatGPTとBingAIで試しました。 (2023年2月末頃の記録です。今日2023年3月15日GPT-4が出たので、随分変わるのではないかと思います。) tl;dr 前半、やっぱり現在[1]のチャットAIは数学は苦手なんだなあ。 後半、これはなかなかすごい。 1次関数の連続性 まず、1年生用の簡単な証明問題をやらせてみます。 入力 関数f(x)=xがすべての実数xで連続であることを証明して下さい。 ChatGPTの出力 f(x)=xがすべての実数xで連続であることを示すには、以下の3つの条件を証明する必要があります。 f(x)が定義されているすべてのxで存在すること。 f(x)がx=aで連続であるための\epsilon-\d
Provably Strict Generalisation Benefit for Equivariant Models
It is widely believed that engineering a model to be invariant/equivariant improves generalisation. Despite the growing popularity of this approach, a precise characterisation of the generalisation benefit is lacking. By considering the simplest case of linear models, this paper provides the first provably non-zero improvement in generalisation for invariant/equivariant models when the target dist
Optimizing with constraints: reparametrization and geometry.
When training machine learning models, and deep networks in particular, we typically use gradient-based methods. But if we require the weights to satisfy some constraints, things quickly get more complicated. Some of the most popular strategies for handling constraints, while seemingly very different at first sight, are deeply connected. In this post, we will explore these connections and demonstr
AIにおける「次元の呪い」解決へ、富士通研が機械学習の最有力学会で発表
富士通研究所は2020年7月13日、ディープラーニング（深層学習）における教師なし学習の精度を大幅に向上できる人工知能（AI）技術「DeepTwin」を発表した。AI分野の長年の課題だった「次元の呪い」を、映像圧縮技術の知見を活用することで解決したとする。同社は論文を機械学習の最有力学会である「ICML 2020」で7月14日に発表する。 「次元の呪い」とは、データの次元（要素数）が大きくなると、そのデータを分析する際の計算量が指数関数的に増大する現象を指す。次元の呪いを回避するため、一般的に機械学習の高次元データは次元を減らす。 ただ従来の手法には、次元の削減に伴ってデータの分布や確率が不正確になる課題があり、それがAIの精度低下を招く一因になっていた。例えば分布や確率が実際と異なると、正常データを異常と誤判定してしまうような間違いを引き起こしてしまう。 富士通研究所は今回、ディープラー
Using neural networks to solve advanced mathematics equations
Using neural networks to solve advanced mathematics equations Facebook AI has built the first AI system that can solve advanced mathematics equations using symbolic reasoning. By developing a new way to represent complex mathematical expressions as a kind of language and then treating solutions as a translation problem for sequence-to-sequence neural networks, we built a system that outperforms tr
Deep Learning For Symbolic Mathematics
Published: 20 Dec 2019, Last Modified: 22 Oct 2023ICLR 2020 Conference Blind SubmissionReaders: Everyone Abstract: Neural networks have a reputation for being better at solving statistical or approximate problems than at performing calculations or working with symbolic data. In this paper, we show that they can be surprisingly good at more elaborated tasks in mathematics, such as symbolic integrat
双曲空間ではじめるレコメンデーション - Gunosyデータ分析ブログ
はじめに こんにちは、MediaAds ML Teamに所属している飯塚(@zr_4) です。 以前書いたブログ*1をベースに変更を加えた論文がRecSys 2019 *2 に通りました(ヤッター)。 埋め込みベースの推薦は、近年最も成功を収めた推薦手法の一つです。 埋め込みベースの推薦を行っている多くの大企業では、精度良くアイテムやユーザーを表現するため、数百次元のベクトルを使用しています。それによって、莫大な計算リソースを日々消費していることと思います。またリアルタイムにベクトルの演算を行うために検索システムを自作している企業も少なくないと思います*3。負荷の大きさから、特定のロジックの実装に踏み込めないケースも多々あるかと思います。 一方で近年、埋め込みの空間に双曲空間を用いることで、階層構造、木構造、Directed Acyclic Graph (DAG) が低次元のベクトルで表現
What is Geometric Deep Learning?
Follow my Twitter and join the Geometric Deep Learning subreddit for latest updates in the space. The vast majority of deep learning is performed on Euclidean data. This includes datatypes in the 1-dimensional and 2-dimensional domain. But we don’t exist in a 1D or 2D world. All that we can observe exists in 3D, and our data should reflect that. It’s about time machine learning gets to our level.
p進機械学習の紹介 - Qiita
機械学習ではデータを$\mathbb{R}^n$の元として扱い,分類や回帰といったタスクを$\mathbb{R}^n$から$\mathbb{R}^m$への写像として構成します. ところが近年Poincare Embedding等$\mathbb{R}^n$以外の世界で考えることによる効果がいくつか得られています. 今回調べた$p$-adicな構造もそうした実数ではありえない構造の一つです. これは大学数学の知識を少し仮定して、$p$-adicな機械学習の現状を調べたものです. 調べた範囲だと2010年以降の論文はほとんどなかったので,改めてまとめておくだけでも価値があるかと思います. 数学の知識としては以下を仮定します. 位相空間論,特にコンパクト性や完備性 初等的な環論.例えば整域に対する商体の操作や環の乗法群の定義 とはいえ,なるべく丁寧に解説するので,定理の主張が読めれば特に問題ない
双曲空間でのMachine Learningの最近の進展 - ABEJA Tech Blog
ABEJAでReseacherをしている白川です。 以前、Poincaré Embeddingsという双曲空間への埋め込み手法をご紹介しました。当時、木構造データを5次元の空間に精度良く埋め込めるということで話題になったのですが、その後双曲空間での機械学習手法が多数研究・提案され、双曲空間での機械学習についての理解をバージョンアップする必要があるなと感じたので、最近の研究の進展を中心に理論背景含めてご紹介したいと思います。 tech-blog.abeja.asia Tl;dr 本記事で伝えたいのは、論文の各論というより、各種論文で共通/独自に主張されている下記のような内容です。 木なら2次元で十分 双曲空間では指数写像/対数写像が明示的に計算され空間全体に拡張されるので取扱が容易 Gyrovector space: 双曲空間における線形代数のような代数構造 Riemann幾何とGyrove
論文紹介: Adding One Neuron Can Eliminate All Bad Local Minima - Qiita
tl; dr Liang et al., 2018. Adding One Neuron Can Eliminate All Bad Local Minima. NIPS. ある前提条件を満たすニューラルネットワークに、ある特殊なニューロン (exponential neuron) を1つ加えると、そのニューラルネットワークの局所解は大域最適な解になる 前提条件: 二値分類問題 特殊な損失関数（Cross entropyなどはダメ） Exponential neuron: $a \exp(\mathbf{w}^Tx + b)$ を入力から出力層へのskip connectionとして追加 提案手法を数学的に証明（実験はなし） 大域最適な解の汎化性、提案手法を導入したことによる局所解に至るまでの時間の変化については議論していないので注意。 @incollection{NIPS2018_768
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習を学習｜sonson
Poincaré maps for analyzing complex hierarchies in single-cell data - Nature Communications
Poincaré maps: Hyperbolic embeddings to understand how cells develop
双曲幾何勉強会2回目
深層学習の数理
GAN — What is wrong with the GAN cost function?