Example: stock market

多項分布の最尤推定と 推定 - SleepyHeads.jp

MAP . Yoshihiko Suhara 2011-07-13. Dirichlet . MAP . MAP Lagrange . 1 .. n! . K. x P (x1 , x2 , .. , xK , n; 1 , 2 , .. , K ) = K j j i=1 xi ! j=1.. K. i = 1. i=1. QKn! x n x1 , x2 , .. , xK . i=1 i! . 2 .. K L . X = {x1 , x2 , .. , xL } ( x1 = {x11 , x12 , .. , x1K }) x11 1. w1 x12 w2 .. L. Ni ! . K. P (X| ) = K xik i=1 x ! j=1 ij k=1. 1. Ni i .. L . K . K. log P (X| ) = log Ni ! log xij ! + xik log k . i=1 j=1 k=1. log xik 0 i, j k .. K. i=1 i = 1 Lagrange . K. i=1 i 1 = 0 . (K ).. L = log P (X| ) + i 1. i=1. (K ).. L . K . K . L= log Ni ! log xij ! + xik log k + i 1 (1). i=1 j=1 k=1 i=1. Lagrange (1) k . 0 . L L. 1. = xik + = 0. k i=1. k 1 . L. xik = k (2). i=1. (2) k . k 0 . 1 . L K K. xik = k i=1. k=1 k=1. L K. i=1 k=1 xik N . K. k=1 k = 1 1.

多項分布の最尤推定とMAP 推定 Yoshihiko Suhara 2011-07-13 普段，無意識のうちに使っている多項分布のパラメータ推定方法の証明と，よく出てくるDirichlet スムー ジングが実は多項分布のMAP 推定だったということを解説． 事前知識として，最尤推定，MAP 推定，Lagrange 乗数法くらいの知識が必要かも．

Fullscreen Download

Information

Domain:

Source:

Link to this page:

Please notify us if you found a problem with this document:

Other abuse

Advertisement

Transcription of 多項分布の最尤推定と 推定 - SleepyHeads.jp

1 MAP . Yoshihiko Suhara 2011-07-13. Dirichlet . MAP . MAP Lagrange . 1 .. n! . K. x P (x1 , x2 , .. , xK , n; 1 , 2 , .. , K ) = K j j i=1 xi ! j=1.. K. i = 1. i=1. QKn! x n x1 , x2 , .. , xK . i=1 i! . 2 .. K L . X = {x1 , x2 , .. , xL } ( x1 = {x11 , x12 , .. , x1K }) x11 1. w1 x12 w2 .. L. Ni ! . K. P (X| ) = K xik i=1 x ! j=1 ij k=1. 1. Ni i .. L . K . K. log P (X| ) = log Ni ! log xij ! + xik log k . i=1 j=1 k=1. log xik 0 i, j k .. K. i=1 i = 1 Lagrange . K. i=1 i 1 = 0 . (K ).. L = log P (X| ) + i 1. i=1. (K ).. L . K . K . L= log Ni ! log xij ! + xik log k + i 1 (1). i=1 j=1 k=1 i=1. Lagrange (1) k . 0 . L L. 1. = xik + = 0. k i=1. k 1 . L. xik = k (2). i=1. (2) k . k 0 . 1 . L K K. xik = k i=1. k=1 k=1. L K. i=1 k=1 xik N . K. k=1 k = 1 1.

2 1. N =1.. = N.. (2) .. L. 1. xik =N. i=1. k . L. i=1 xik k =. N.. 2. 3 MAP . MAP . MAP . argmax P ( |X) = argmax P (X| )P ( ).. P (X| ) P ( ) . Dirichlet P ( ) Dirichlet . 1 k 1. K. P ( ) = k Z. k=1. Z . K. i=1 ( i ). Z= K. ( i=1 i ). k Z .. P (X| )P ( ) .. L. Ni ! . K. 1 k 1. K. P (X| )P ( ) = K xik k i=1 j=1 xij ! k=1 Z. k=1.. ( ).. L . K . K . K. log P (X| )P ( ) = log Ni ! log xij ! + xik log k + log Z + ( k 1) log k i=1 j=1 k=1 k=1. *1. K. i=1 i 1 = 0 Lagrange . Lagrange k . L ( ). 1 k 1. xik + + =0. i=1. k k { L }. 1 . xik + ( k 1) = k (3). i=1. k (3) . { L K }. 1 . K . K. xik + ( k 1) = k i=1 k=1 k=1 k=1. *1 ( ) alphak 1 0 k Dirichlet k > 0 1 > k > 0 . k 1 . 3. L K K. i=1 k=1 xik N k=1 k 1 . { }. 1 . K. N+ ( k 1) =1.. k=1.. K. N+ ( k 1) =.

3 K=1.. (3) MAP . L. xik + ( k 1). i=1. k = K (4). N + j=1 ( j 1).. k = 2 k L. xik + 1. i=1. k = (5). N +K. Laplace k 1. ( 1 ) Dirichlet . 4.

Show more