最大似然原理

根据样本观测值, 选择参数 $p$ 的值, 使得此样本值出现的可能性最大.

使得 $X_1,X_2,...,X_n$ 落入 $x_1,x_2,...,x_n$ 的领域中的概率最大, 就是最可能的参数, 作为参数的估计值, 称为最大似然原理.

设总体 $X$ 为离散型, 其分布列为 $P\{X=x\}-f(x;\theta )$, 其中 $\theta \in \Theta$, 设 $X_1,X_2,...,X_n$ 是来自总体 $X$ 的样本, 则分布列为 ${\prod }_{i=1}^{n}f(x_i;\theta )$, 设 $x_1,x_2,..,x_n$ 是样本的一个观察值, 易知样本取观察值的概率为 $L(\theta )=L(\theta ;x_1,...,x_n)={\prod }_{i=1}^{n}f(x_i;\theta ),\theta \in \Theta$, 这一概率随着 $\theta$ 的取值而变化, $L(\theta )$ 称为样本的似然函数.

由最大似然原理, 固定样本观察值, $x_1,x_2,...,x_n$, 在 $\theta$ 的取值范围 $\Theta$ 内挑选使似然函数 $L(\theta )$ 达到最大值 $\hat{\theta }$ 作为参数 $\theta$ 的估计值, $\hat{\theta }$ 与 $x_1,x_2,...,x_n$ 有关, 记作 $\hat{\theta }(x_1,...,x_n)$ 称为参数 $\theta$ 的最大似然估计值, 称 $\hat{\theta }(X_1,X_2,...,X_n)$ 为参数 $\theta$ 的最大似然估计量.