ジョンとヨーコのイマジン日記

想像してください。「あなたはぼくをプラグマティストだと言うかもしれない」と歌う、逆イマジンです。

Julia

コレスキー分解された分散共分散行列を持つ正規分布で事後分布を近似する変分ベイズ(in Julia)

アルゴリズムの導出 機械学習スタートアップシリーズ ベイズ推論による機械学習入門作者:須山敦志講談社Amazon変分事後分布に正規分布を仮定して、変分パラメータを勾配法で推定する方法はそれなりによく知られている。例えば須山「ベイズ推論による機械学習…

事後分布を正規分布で近似する変分推論のアルゴリズムを Julia で書く

アルゴリズム 機械学習スタートアップシリーズ ベイズ推論による機械学習入門作者:須山敦志講談社Amazon 須山『ベイズ推論による機械学習入門』ではロジスティック回帰とニューラルネットのところで近似事後分布として1次元の正規分布を仮定して、変分パラメ…

Albert (2008) 打者の調子の波のモデル化

モチベーション 以前にAlbert (2008)、 https://www.stat.berkeley.edu/~aldous/157/Papers/albert_streaky.pdf を読んでやってみたことのJulia版です。次の0と1の羅列はカルロス・ギーエン(カルロス・ギーエン - Wikipedia)という選手の2005年の打撃成績…

Julia によるかんたんなパーティクルフィルタの例

ローカルレベルモデルです。(システムモデル) (観測モデル)パーティクルフィルタで固定パラメータの とか を推定する方法は色々提案されてたりするんだけど、シミュレーテッドアニーリング法に丸投げです。「こう書くともっと速くなるよ」みたいなご指摘…

Julia でかんたんラプラス近似

データを生成した分布を「真の分布」と呼ぶことにする。確率モデルを として、確率モデルにパラメータ の最尤推定量 を代入し、 「真の分布はおよそ だろう」 と推測することを最尤推定による予測分布(略して、MLE)と呼ぶことにする。最尤推定量(またはMA…

区間打ち切りデータの最尤推定のシミュレーション:JuliaとR

Julia です。 @time using Optim @time using Distributions @time using StatsFuns function make_dat_gamma0(n,a,b) t = rand(Gamma(a,b),n) E_len = rand(Exponential(),n) u = rand(n) E_R = t - E_len .* (1.0.-u) E_L = t + E_len .* u E_L, E_R end f…