ジョンとヨーコのイマジン日記

想像してください。「あなたはぼくをプラグマティストだと言うかもしれない」と歌う、逆イマジンです。

コレスキー分解された分散共分散行列を持つ正規分布で事後分布を近似する変分ベイズ(in Julia)

アルゴリズムの導出 機械学習スタートアップシリーズ ベイズ推論による機械学習入門作者:須山敦志講談社Amazon変分事後分布に正規分布を仮定して、変分パラメータを勾配法で推定する方法はそれなりによく知られている。例えば須山「ベイズ推論による機械学習…

SQLiteのためのメモ(Rユーザーであり、かつMacユーザーである人向け)

R

SQLiteは小規模なデータに適したデータベースとされる。 長所:始めるのが簡単 短所:大規模なデータに向かない どの程度までが小規模なデータなのかはよくわからないが、SQLiteでなにか困ることがあれば、そのとき代替(MySQL, PostgreSQL, Google BigQuery…

自由エネルギーもカルバック・ライブラー情報量に基づく情報量規準とみなせる

前置き なんでこんなのを書こうと思ったんだっけ. たぶん「周辺尤度はカルバック・ライブラー情報量に基づく情報量規準とは考え方が異なる」みたいな文をどっかで見て, ちょっとつっこみたくなったからだった気がする. 用語 すべてのデータを , すべての未知…

検定いらずのABテスト:ポアソン分布とベータ分布によるサンプルサイズ設計

R

多くのABテストではクリック数やコンバージョン数などのカウントデータを比較します。ABテストで問題になるのが、 どのくらい差があれば、十分「Bのほうが良さそう」と判断できるのか どのくらいのデータ(クリック数やコンバージョン数)がたまるまでまてば…

トピックモデル(GaP; Gamma-Poisson Model)の ELBO の導出

R

ここでは [math/0604410] Discrete Component Analysis の Gamma-Poisson モデル(GaP)の ELBO (evidence lower bound) を導出する。まず、行列の分解がトピックモデルの一種として解釈できること説明する。次に、モデルのパラメータ推定方法について述べる…

事後分布を正規分布で近似する変分推論のアルゴリズムを Julia で書く

アルゴリズム 機械学習スタートアップシリーズ ベイズ推論による機械学習入門作者:須山敦志講談社Amazon 須山『ベイズ推論による機械学習入門』ではロジスティック回帰とニューラルネットのところで近似事後分布として1次元の正規分布を仮定して、変分パラメ…

Albert (2008) 打者の調子の波のモデル化

モチベーション 以前にAlbert (2008)、 https://www.stat.berkeley.edu/~aldous/157/Papers/albert_streaky.pdf を読んでやってみたことのJulia版です。次の0と1の羅列はカルロス・ギーエン(カルロス・ギーエン - Wikipedia)という選手の2005年の打撃成績…

Julia によるかんたんなパーティクルフィルタの例

ローカルレベルモデルです。(システムモデル) (観測モデル)パーティクルフィルタで固定パラメータの とか を推定する方法は色々提案されてたりするんだけど、シミュレーテッドアニーリング法に丸投げです。「こう書くともっと速くなるよ」みたいなご指摘…

Julia でかんたんラプラス近似

データを生成した分布を「真の分布」と呼ぶことにする。確率モデルを として、確率モデルにパラメータ の最尤推定量 を代入し、 「真の分布はおよそ だろう」 と推測することを最尤推定による予測分布(略して、MLE)と呼ぶことにする。最尤推定量(またはMA…

区間打ち切りデータの最尤推定のシミュレーション:JuliaとR

Julia です。 @time using Optim @time using Distributions @time using StatsFuns function make_dat_gamma0(n,a,b) t = rand(Gamma(a,b),n) E_len = rand(Exponential(),n) u = rand(n) E_R = t - E_len .* (1.0.-u) E_L = t + E_len .* u E_L, E_R end f…

変分ベイズで RFM 指標から顧客生涯価値を計算してみる

R

モデルと尤度 RFM 指標から将来の購買回数を予測する Pareto / NBD モデルから派生したモデルに BG / NBD モデルがあります。Pareto / NBD モデルより計算がかんたんです。モデル: 顧客の購買はレート の定常ポアソン過程に従う 顧客の購買のたびに確率 で…

ggplot2でヒストグラムを箱ひげ図風に並べてプロットするパッケージggbrickを書いている

R

これです:GitHub - abikoushi/ggbrick: An R package for brick plotggtetrisって名前にしようかと思ったんだけど、もうある(GitHub - EmilHvitfeldt/ggtetris: Create Tetris Chart Visualizations in R)みたいなので、ggbrickにしました。brickはレンガ…

藤原香織、渡辺澄夫(2006)ベイズ尤度比検定による変化点検出のシミュレーション

R

これです:http://watanabe-www.math.dis.titech.ac.jp/users/fujiwara/doc/fujiwara_ibis2006.ppt.pdfこの研究成果は論文化されているようですが, オープンアクセスではないみたいです:https://search.ieice.org/bin/summary.php?id=j91-d_4_889&category=…

今日の川柳

ぼくの以前のブログには「今日の川柳」というモジュールが設置されていた。こんな風だった: function OnButtonClick() { var a=["多分A明日BならやつはC","歯ブラシを眺めて泣いた夜もある","本当はラッパーになりたかった","ていねいなしらない人の顔写真"…

ggplot2 で floating bar chart を書く R のパッケージ ggfloatbar を作っている

R

GitHub - abikoushi/ggfloatbar: Floating bar chart on ggplot2です。インストールは devtools::install_github("abikoushi/ggfloatbar") でたぶんいけます。たぶんまだ不具合とかあると思うし、説明とかぜんぜん書いてないです。なにか要望とか意見、感想…