最大似然估计

最大似然原理

根据样本观测值, 选择参数 $p$ 的值, 使得此样本值出现的可能性最大.

使得 $X_1,X_2,...,X_n$ 落入 $x_1,x_2,...,x_n$ 的领域中的概率最大, 就是最可能的参数, 作为参数的估计值, 称为最大似然原理.

设总体 $X$ 为离散型, 其分布列为 $P\{X=x\}-f(x;\theta )$, 其中 $\theta \in \Theta$, 设 $X_1,X_2,...,X_n$ 是来自总体 $X$ 的样本, 则分布列为 ${\prod }_{i=1}^{n}f(x_i;\theta )$, 设 $x_1,x_2,..,x_n$ 是样本的一个观察值, 易知样本取观察值的概率为 $L(\theta )=L(\theta ;x_1,...,x_n)={\prod }_{i=1}^{n}f(x_i;\theta ),\theta \in \Theta$, 这一概率随着 $\theta$ 的取值而变化, $L(\theta )$ 称为样本的似然函数.

由最大似然原理, 固定样本观察值, $x_1,x_2,...,x_n$, 在 $\theta$ 的取值范围 $\Theta$ 内挑选使似然函数 $L(\theta )$ 达到最大值 $\hat{\theta }$ 作为参数 $\theta$ 的估计值, $\hat{\theta }$ 与 $x_1,x_2,...,x_n$ 有关, 记作 $\hat{\theta }(x_1,...,x_n)$ 称为参数 $\theta$ 的最大似然估计值, 称 $\hat{\theta }(X_1,X_2,...,X_n)$ 为参数 $\theta$ 的最大似然估计量.

指向原始笔记的链接

似然函数

设总体 $X$ 的概率密度为 $f(x;\theta ),\theta \in \Theta$, $X_1,...,X_n$ 为来自总体的样本, 则 $(X_1,...,X_n)$ 的密度函数为 $f(x_1;\theta )...f(x_n;\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$, 若已知样本观测值 $(x_1,...,x_n)$, 则 $\theta$ 的函数为 $L(\theta )=L(\theta ;x_1,x_2,...,x_n)={\prod }_{i=1}^{n}f(x_i;\theta )$ 称为基于样本 $(x_1,...,x_n)$ 的似然函数.

称 $\ln L(\theta )=\ln L(\theta ;x1,...,x_n)=\ln {\prod }_{i=1}^{n}f(x_i;\theta )$ 为样本的对数似然函数.

指向原始笔记的链接

如果似然函数 $L(\theta ;x_1,...,x_n)$ 在 $\hat{\theta }$ 达到最大值, 即 $L(\hat{\theta };x_1,...,x_n)={\max }_{\theta \in \Theta }L(\theta ;x_1,...,x_n)$, 则称 $\hat{\theta }$ 为 $\theta$ 的最大似然估计值. 简记为 MLE.

• 求 似然函数 $L(\theta ;x_1,...,x_n)$ 在 $\theta \in \Theta$ 内关于 $\theta$ 的最大值点, 若 $f(x,\theta )$ 关于 $\theta$ 可微, 则 $\theta$ 的 MLE 可由 $\frac{dL}{d\theta }=0$ 得到; 若似然函数 $L(\theta )$ 不是 $\theta$ 的可微函数时, 需要用定义的方法求 MLE.
• 分布中含有多个未知参数 $\theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$ 的情况, 若似然函数关于 $\theta$ 的各个分量的偏导数都存在, 则 $\theta =({\theta }_1,...,{\theta }_k)$ 的 MLE 可通过 $\frac{\partial L(\theta )}{\partial {\theta }_i}=0,i=1,2,...,k$ 的方程组求得.

1. 由总体 $X$ 的分布写出似然函数 $L(\theta )$;
2. 求对数似然函数 $\ln L(\theta )$;
3. 对 $\ln L(\theta )$ 关于 $\theta$ 求导数, 令导函数为 0;
4. 解方程组, 得到未知参数的最大似然估计.