はじめに 書籍『Pythonでスラスラわかる ベイズ推論「超」入門』著者です。 読者からいただいた質問のうち、実装コード付きで示した方がいいものがあったので、この場で解説をしたいと思います。 なお、当記事は、書籍で説明している概念については、すべてわかっている前提で記載しています。わからない部分はすべて書籍内に説明がありますので、関心を持たれた読者は是非、本編の書籍もお買い求めいただけるとありがたいです。 書籍サポートサイトのリンクは下記になります。 https://bit.ly/3uV4i3R いただいた質問と直接の回答 いただいた質問は、5.4節　潜在変数モデルの実習コードに対するものです。 以下のコードはサポートサイト上にもアップしておきました。 https://bit.ly/3vjwY6M 潜在変数モデルでは、特別な工夫をしないと「ラベルスイッチ」と呼ばれる事象が発生します。 その

ユースケース 例1：企業別の想定提示年収（平均値） 状況 グラフ データ 問題設定 例2：求人別の採用率（比率） 状況 グラフ データ 問題設定 例3：企業別の高評価特徴（回帰モデルの係数・切片） 状況 グラフ データ 問題設定 階層ベイズのイメージ 少しだけ確率分布の話 確率分布には特徴の異なる複数のものがある 確率分布にはその分布を確定させるパラメータがある 少しだけモデル作成の話 階層ベイズの基本的な考え方 例1：企業別の想定提示年収 例2：求人別の採用率 例3：企業別の高評価特徴 階層ベイズの使いどころ 利用用途 パラメータの安定化 全体傾向の正確な推定 使いどころの判断ポイント ポイント1：個体差が比較的大きい ポイント2：1個体あたりのデータ量が少ない(ことがある) ポイント3：個体差に他の既存データから推定し難い情報がある ポイント4：異常値を許容できない 実際の利用場面 求

上で引用した「儲かるAI」に関しては、単純平均とほぼ同じような結果になっていますが、件数が少ない書籍に関してはhdi_3%からhdi_97%の幅(統計学の「信頼区間」とほぼ同じ概念と考えてください)が非常に広くなっていることがわかります。 「不確実性」が具体的な数値の形で示されているのです。 では、どうするとこの結果が得られるのか。 考え方の概要を簡潔に説明すると以下のようになります。 スコア別のレビュー件数(ベイズ推論の用語で「観測値」)の背後に確率モデルが存在することを仮定 確率モデルと観測値から事後分布を導出 事後分布に基づいて「レビューの平均スコア」も確率変数として算出する 得られた「確率変数としてのレビュー平均スコア」を統計的に分析する この形で分析をすることにより最尤推定より現実に即した判断が可能 始めてこの話を聞く人は、何をいっているのか、まったくわからないと思います。しかし

この記事は確率的プログラミング言語 Advent Calendar 202317日目の記事です。 ゼミで勉強したStanとRでベイズ統計モデリング（通称：アヒル本）著者である @hankagosa 氏の開催するアドベントカレンダーに参加でき嬉しく思います。このような機会を用意していただきありがとうございます。 それでは本題に入ります。 はじめに 2023/4/6にPyMC-Marketingが発表されました。PyMCの派生ライブラリでマーケティング領域に特化しています。 PyMC Labs is excited to announce the initial release of PyMC-Marketing. Unlock the power of marketing analytics with PyMC-Marketing – the open source solution for

生存時間解析って？ 生存時間解析とは何らかのイベントが発生するまでの時間を生存時間として統計的に分析する方法のことを言います。 医学で使用されることが多いです。 代表的な例としてがん患者の余命期間に関する分析があります。がん発症から死亡までの期間に対して分析を行います。 経済の分野だと経済学、経営学、マーケティングでも使用されます。 労働者が労働市場に参加している期間、企業が設立してから倒産するまでの期間、顧客が会員登録してから登録解除するまでの期間など、、、 その他さまざまな領域で応用されます。 すでに多くの方がこの手法について解説されていますのでここでは基本のおさらいとちょっとした発展の内容を記事にしようと思います。 カプランマイヤー推定法 生存時間解析では打ち切りデータを考慮して分析できるという特徴があります。 「時間」に関する分析を行っているので分析対象を観察できない場合があります

前回と前々回にベイズ推定について簡単に説明しました。 以下、前回の記事です。 以下、前々回の記事です。 通常の線形回帰モデルは、切片や係数、予測の値は1つです。 一方，ベイズ線形回帰モデルで得られるのは分布です。正確には、分布から得られるサンプルです。 今回は、PyMC3を使ってベイズ線形回帰モデルを構築する方法を紹介します。 通常の線形回帰モデルと比較します。 通常の線形回帰とベイズ線形回帰 簡単に数式で考えていきます。 通常の線形回帰モデルは、以下のように表現されます。yが目的変数で、xが説明変数です。 \displaystyle y = a + b x + \epsilon , \epsilon \sim \mathcal{N}(0,\sigma^2) これは、yが平均ax+bと標準偏差\sigmaで正規分布していることを意味します。 \displaystyle y \sim \ma

何かと便利なベイズ推定、ビジネスの世界でも活用が進んでいます。 MCMCというアルゴリズムが手軽に利用できるなったことが、大きな要因の1つでしょう。MCMCとは、マルコフ連鎖を利用したモンテカルロシミュレーションです。手軽にMCMCでベイズ推定を実現するのがPyMC3というPythonのパッケージです。 MCMCそのものの理解は脇においておくとしても、ベイズ推定そのものの理解を脇においておくわけには行きません。 ということで前回は、「コイン投げの例を使ってベイズ推定を何となく理解しよう」というお話しをしました。 PyMC3を使ったPythonベイズ推定超入門（その1）コイン投げの例を使ってベイズ推定を何となく理解しよう 前回は、PyMC3は登場しませんでした。コイン投げの場合、登場するまでもない、という感じでしたが、通常はそうは行きません。 今回は、「コイン投げの例を使ってPyMC3ベイズ

需要予測などで、特定の値（予測値が1つ）だけではなく、予測値の区間や分布が手に入った方が嬉しい場合があります。 区間だけであれば、従来の推定方法（最尤法など）で求めることはできます。95%信頼区間（予測区間）などです。 もちろん、このような区間はベイズ推定でも求めることはできます。 知り得たいのが区間だけであれば、従来の推定方法だろうがベイズ推定であろうが、どちらでもいいかもしれません。 しかし、ベイズ推定の場合、区間以上の情報を得ることができます。 どのような情報かというと、分布です。 この分布から平均値や最頻値などを予測値やその区間などを求めることができます。 それだけではありません。 ベイズ推定の面白いところは、今手元にあるデータが多かろうが少なかろうが取り急ぎ分布などを計算し、新たなデータを手にしたときにその分布を更新していく、というアプローチを取ります。 更新前の分布を「事前分布

はじめに 本内容はpymc3 Bayesian mediation analysisの解説記事です。 概要 ベイズ統計をAIコンペや実業務で使えたらいいなーと思い、独学で勉強しています。参考書から大枠のイメージを理解することはできましたが、じゃあ実際どう使えばいいんだい、というところが全く分かりませんでした。 何かハンズオン形式のチュートリアルみたいな教材がないかなと調べていたところ、pymc3のチュートリアルがとても良さそうだったので、こちらもとに学習を進めることにしました。 ただ、pymc3のチュートリアルは全て英語で記載されており、かつ統計的な専門知識もある程度必要になるため、理解は少し時間がかかりました。日本語の詳細な解説記事があればいいのになーと思い、頭の整理も兼ねて本記事を執筆しました。 対象とする課題 pymc3 Bayesian mediation analysis 実行環