参数估计之最大似然估计

（本章内容是后面logistic回归和softmax回归的基础）
基本思路：对于离散总体，设有样本观测值$x_1,x_2,\cdots ,x_n$，我们写出该观测值出现的概率，它一般依赖于某个或某些参数，用$\theta$表示，将该概率看成$\theta$的函数，用$L(\theta)$表示，称为似然函数：

$$L(\theta)=P(X_1=x_1,\cdots ,X_n=x_n;\theta) \tag{1}$$

求最大似然估计就是找$\theta$的估计值$\hat {\theta}=\hat {\theta}(x_1,\cdots ,x_n)$使得上式的$L(\theta)$达到最大。

例子1

设产品分为合格品与不合格品两类，我们用一个随机变量$X$来表示某个产品经检查后的不合格品数，则$X=0$表示合格品，$X=1$表示不合格品，则$X$服从二点分布$b(1,p)$，其中$p$是未知的不合格率。先抽取n个产品看是否合格，得到样本$x_1,\cdots ,x_n$，这批观测值发生的概率为：

$$\begin{align*} P(X_1=x_1,\cdots ,X_n=x_n;p) &= \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}\\ &=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i} \tag{2} \end{align*}$$

似然函数为

$$L(p)=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i} \tag{3}$$

要求$p$使得$L(p)$最大，可将$(3)$两端取对数并关于$p$求导令其为0（这里其实省略了证明$(3)$是一个凹函数的过程），得到似然方程：

$$\frac{\partial{L(p)}}{\partial{p}}=0 \tag{4}$$

求解$(4)$即可得到$p$的最大似然估计，为

$$\hat{p}=\hat{p}(x_1,\cdots,x_n)=\frac{1}{n}\sum _{i=1}^{n}x_i=\bar x \tag{5}$$