計算ノート 2変量正規分布の密度関数 は次式で表される：ここで は2次元のベクトル.分散共分散行列の逆行列を と置くと, と書ける.密度関数の等高線を描くと（関数を同じ高さのところで輪切りにすると）楕円になる. この投稿では, 2変量正規分布の密度関数を…

アルゴリズムの導出 機械学習スタートアップシリーズ ベイズ推論による機械学習入門作者:須山敦志講談社Amazon変分事後分布に正規分布を仮定して、変分パラメータを勾配法で推定する方法はそれなりによく知られている。例えば須山「ベイズ推論による機械学習…

アルゴリズム 機械学習スタートアップシリーズ ベイズ推論による機械学習入門作者:須山敦志講談社Amazon 須山『ベイズ推論による機械学習入門』ではロジスティック回帰とニューラルネットのところで近似事後分布として1次元の正規分布を仮定して、変分パラメ…

モチベーション 以前にAlbert (2008)、 https://www.stat.berkeley.edu/~aldous/157/Papers/albert_streaky.pdf を読んでやってみたことのJulia版です。次の0と1の羅列はカルロス・ギーエン（カルロス・ギーエン - Wikipedia）という選手の2005年の打撃成績…

ローカルレベルモデルです。（システムモデル） （観測モデル）パーティクルフィルタで固定パラメータの とか を推定する方法は色々提案されてたりするんだけど、シミュレーテッドアニーリング法に丸投げです。「こう書くともっと速くなるよ」みたいなご指摘…

データを生成した分布を「真の分布」と呼ぶことにする。確率モデルを として、確率モデルにパラメータ の最尤推定量 を代入し、 「真の分布はおよそ だろう」 と推測することを最尤推定による予測分布（略して、MLE）と呼ぶことにする。最尤推定量（またはMA…

Julia です。 @time using Optim @time using Distributions @time using StatsFuns function make_dat_gamma0(n,a,b) t = rand(Gamma(a,b),n) E_len = rand(Exponential(),n) u = rand(n) E_R = t - E_len .* (1.0.-u) E_L = t + E_len .* u E_L, E_R end f…