多項分布の最尤推定と 推定 - SleepyHeads.jp

← Back to document page

MAP . Yoshihiko Suhara 2011-07-13. Dirichlet . MAP . MAP Lagrange . 1 . . n! . K. x P (x1 , x2 , . . . , xK , n; 1 , 2 , . . . , K ) = K j j i=1 xi ! j=1. . . K. i = 1. i=1. QKn! x n x1 , x2 , . . . , xK . i=1 i! . 2 . . . . . . . K L . X = {x1 , x2 , . . . , xL } ( x1 = {x11 , x12 , . . . , x1K }) x11 1. w1 x12 w2 . . . L. Ni ! . K. P (X| ) = K xik i=1 x ! j=1 ij k=1. 1. Ni i . . . L . K . K. log P (X| ) = log Ni ! log xij ! + xik log k . i=1 j=1 k=1. log xik 0 i, j k . . K. i=1 i = 1 Lagrange . K. i=1 i 1 = 0 . (K ). . L = log P (X| ) + i 1. i=1. (K ). . L . K . K . L= log Ni ! log xij ! + xik log k + i 1 (1). i=1 j=1 k=1 i=1. Lagrange (1) k . 0 . L L. 1. = xik + = 0. k i=1. k 1 . L. xik = k (2). i=1. (2) k . k 0 . 1 . L K K. xik = k i=1. k=1 k=1. L K. i=1 k=1 xik N . K. k=1 k = 1 1 . 1. N =1. . = N. . (2) . . L. 1. xik =N. i=1. k . L. i=1 xik k =.

多項分布の最尤推定とMAP 推定 Yoshihiko Suhara 2011-07-13 普段，無意識のうちに使っている多項分布のパラメータ推定方法の証明と，よく出てくるDirichlet スムー ジングが実は多項分布のMAP 推定だったということを解説． 事前知識として，最尤推定，MAP 推定，Lagrange 乗数法くらいの知識が必要かも．