极大似然估计法推出朴素贝叶斯法中的先验概率估计公式

朴灿烈づ我的快乐病毒、 2022-06-08 00:16 127阅读 0赞

令参数 ![P(Y=c\_k)=\\theta\_k][P_Y_c_k_theta_k]，其中 ![k\\in \\left\\\{ 1,2..K \\right\\\}][k_in _left_ 1_2..K _right]。

那么随机变量Y的概率可以用参数来表示为一个紧凑的形式 ![P(Y)=\\sum\_\{k=1\}^\{K\}\{\\theta\_k\} I(Y=c\_k)][P_Y_sum_k_1_K_theta_k_ I_Y_c_k]，I是指示函数 ![Y=c\_k][Y_c_k]成立时，I=1；否则I=0。

极大似然函数 ![L(\\theta\_k;y\_1,y\_2..y\_N)=\\prod\_\{i=1\}^\{N\}P(y\_i) =\\prod\_\{k=1\}^\{K\}\\theta\_k^\{N\_k\}][L_theta_k_y_1_y_2..y_N_prod_i_1_N_P_y_i_ _prod_k_1_K_theta_k_N_k]，其中N为样本总数， ![N\_k][N_k]为样本中 ![Y=c\_k][Y_c_k]的样本数目，取对数得到 ![l(\\theta\_k)=ln(L(\\theta))=\\sum\_\{k=1\}^\{K\}\{N\_k ln\\theta\_k\}][l_theta_k_ln_L_theta_sum_k_1_K_N_k ln_theta_k]，

要求该函数的最大值，注意到约束条件 ![\\sum\_\{k=1\}^\{K\}\{\\theta\_k\} =1][sum_k_1_K_theta_k_ _1]可以用拉格朗日乘子法，即 ![l(\\theta\_k,\\lambda)=\\sum\_\{k=1\}^\{K\}\{N\_k ln\\theta\_k\} +\\lambda(\\sum\_\{k=1\}^\{K\}\{\\theta\_k\} -1)][l_theta_k_lambda_sum_k_1_K_N_k ln_theta_k_ _lambda_sum_k_1_K_theta_k_ -1]，求导就可以得到： ![\\frac\{N\_k\}\{\\theta\_k\}+\\lambda=0][frac_N_k_theta_k_lambda_0]联立所有的k以及约束条件得到 ![\\theta\_k=\\frac\{N\_k\}\{N\}][theta_k_frac_N_k_N]，完毕

作者：Fisher  
链接：https://www.zhihu.com/question/33959624/answer/93958363  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

[P_Y_c_k_theta_k]: https://www.zhihu.com/equation?tex=P%28Y%3Dc_k%29%3D%5Ctheta_k
[k_in _left_ 1_2..K _right]: https://www.zhihu.com/equation?tex=k%5Cin+%5Cleft%5C%7B+1%2C2..K+%5Cright%5C%7D+
[P_Y_sum_k_1_K_theta_k_ I_Y_c_k]: https://www.zhihu.com/equation?tex=P%28Y%29%3D%5Csum_%7Bk%3D1%7D%5E%7BK%7D%7B%5Ctheta_k%7D+I%28Y%3Dc_k%29
[Y_c_k]: /images/20220608/018a74343b764e53b40fa2add1356ebc.png
[L_theta_k_y_1_y_2..y_N_prod_i_1_N_P_y_i_ _prod_k_1_K_theta_k_N_k]: https://www.zhihu.com/equation?tex=L%28%5Ctheta_k%3By_1%2Cy_2..y_N%29%3D%5Cprod_%7Bi%3D1%7D%5E%7BN%7DP%28y_i%29+%3D%5Cprod_%7Bk%3D1%7D%5E%7BK%7D%5Ctheta_k%5E%7BN_k%7D+
[N_k]: https://www.zhihu.com/equation?tex=N_k
[l_theta_k_ln_L_theta_sum_k_1_K_N_k ln_theta_k]: https://www.zhihu.com/equation?tex=l%28%5Ctheta_k%29%3Dln%28L%28%5Ctheta%29%29%3D%5Csum_%7Bk%3D1%7D%5E%7BK%7D%7BN_k+ln%5Ctheta_k%7D+
[sum_k_1_K_theta_k_ _1]: https://www.zhihu.com/equation?tex=%5Csum_%7Bk%3D1%7D%5E%7BK%7D%7B%5Ctheta_k%7D+%3D1
[l_theta_k_lambda_sum_k_1_K_N_k ln_theta_k_ _lambda_sum_k_1_K_theta_k_ -1]: https://www.zhihu.com/equation?tex=l%28%5Ctheta_k%2C%5Clambda%29%3D%5Csum_%7Bk%3D1%7D%5E%7BK%7D%7BN_k+ln%5Ctheta_k%7D+%2B%5Clambda%28%5Csum_%7Bk%3D1%7D%5E%7BK%7D%7B%5Ctheta_k%7D+-1%29
[frac_N_k_theta_k_lambda_0]: https://www.zhihu.com/equation?tex=%5Cfrac%7BN_k%7D%7B%5Ctheta_k%7D%2B%5Clambda%3D0+
[theta_k_frac_N_k_N]: /images/20220608/6f8fdbb9630d4013b3323bb34cdc38cd.png+