线性概率模型
当我们在用多元线性回归模型去解释一个二值结果时，该模型就成为线性概率模型。为什么是线性概率，我们在后面的分析中便可以看到。
对于线性概率模型，其模型设定为：
Y = β 0 + β 1 X 1 + ⋯ + β k X k + u , Y=\beta_0+\beta_1X_1+\cdots+\beta_kX_k+u \ ,Y =β0 +β1 X 1 +⋯+βk X k +u ,
其中因变量 Y Y Y 是一个定性响应变量：
Y = { 0 1 . Y= \left{ \begin{array}{l} 0\ 1 \end{array} \right. \ .Y ={0 1 .
进行参数估计的时候，我们仍然采取OLS的思想，直接进行回归。我们也可以将模型写成数学期望的模式，这一点对于我们的分析很重要：
E ( Y ∣ X ) = β 0 + β 1 X 1 + β 2 X 2 + ⋯ + β k X k = X β . {\rm E}(Y|X)=\beta_0+\beta_1X_1+\beta_2X_2+\cdots+\beta_kX_k=\boldsymbol{X\beta} \ .E (Y ∣X )=β0 +β1 X 1 +β2 X 2 +⋯+βk X k =X β.
为了分析方便，下面简单考虑一元线性概率模型：
Y = β 0 + β 1 X 1 + u , Y=\beta_0+\beta_1X_1+u \ ,Y =β0 +β1 X 1 +u ,
由于 Y Y Y 具有二元离散分布，我们可以得到 E ( Y ∣ X 1 ) {\rm E}(Y|X_1)E (Y ∣X 1 ) 的含义是：
E ( Y ∣ X 1 ) = 1 × P ( Y = 1 ∣ X 1 ) + 0 × P ( Y = 0 ∣ X 1 ) = P ( Y = 1 ∣ X 1 ) . {\rm E}(Y|X_1)=1\times P(Y=1|X_1)+0\times P(Y=0|X_1)=P(Y=1|X_1) \ .E (Y ∣X 1 )=1 ×P (Y =1 ∣X 1 )+0 ×P (Y =0 ∣X 1 )=P (Y =1 ∣X 1 ).
P ( Y = 1 ∣ X 1 ) = β 0 + β 1 X 1 . P(Y=1|X_1)=\beta_0+\beta_1X_1 \ .P (Y =1 ∣X 1 )=β0 +β1 X 1 .
我们称 P ( Y = 1 ∣ X ) P(Y=1|X)P (Y =1 ∣X ) 为响应概率（response probability）。因为这个响应概率是参数 β \beta β 的线性函数，因此这种带有二值因变量的多元线性回归模型被称为线性概率模型。
此外，我们可以通过求导得到 LPM 的边际效应：
∂ P ( Y = 1 ∣ X 1 ) ∂ X 1 = β 1 . \frac{\partial P(Y=1|X_1)}{\partial X_1}=\beta_1 \ .∂X 1 ∂P (Y =1 ∣X 1 )=β1 .
其含义为：在保持其他因素不变的情况下，β 1 \beta_1 β1 度量了因 X 1 X_1 X 1 的变化导致的成功概率的变化。
(1) 取值界限问题
在 OLS 估计下，响应概率的预测值表达式为：
P ( Y i = 1 ^ ∣ X i ) = β ^ 0 + β ^ 1 X i , P(\widehat{Y_i=1}|X_i)=\hat\beta_0+\hat\beta_1X_i \ ,P (Y i =1 ∣X i )=β^0 +β^1 X i ,
随着 X i X_i X i 的变化，响应概率的预测值有可能超出 [ 0 , 1 ] \left[0,\ 1\right][0 ,1 ] ，即无法保证 0 ≤ P ( Y = 1 ∣ X ) ≤ 1 0\leq P(Y=1|X)\leq1 0 ≤P (Y =1 ∣X )≤1 。
(2) 异方差问题
定义响应概率为 p ( X ) ≜ E ( Y ∣ X ) = P ( Y = 1 ∣ X ) p(X) \triangleq {\rm E}(Y|X)=P(Y=1|X)p (X )≜E (Y ∣X )=P (Y =1 ∣X ) ，可以看出响应概率是解释变量 X X X 的函数。接下来我们求随机干扰项的条件方差：
先求 Y Y Y 的二阶矩：
E ( Y 2 ∣ X ) = 1 × P ( Y 2 = 1 ∣ X ) + 0 × P ( Y 2 = 0 ∣ X ) = P ( Y = 1 ∣ X ) = E ( Y ∣ X ) , {\rm E}(Y^2|X)=1\times P(Y^2=1|X)+0\times P(Y^2=0|X)=P(Y=1|X)={\rm E}(Y|X) \ ,E (Y 2 ∣X )=1 ×P (Y 2 =1 ∣X )+0 ×P (Y 2 =0 ∣X )=P (Y =1 ∣X )=E (Y ∣X ),
进而求 u u u 的条件方差：
V a r ( u ∣ X ) = V a r ( Y ∣ X ) = E ( Y 2 ∣ X ) − [ E ( Y ∣ X ) ] 2 = E ( Y ∣ X ) − [ E ( Y ∣ X ) ] 2 , {\rm Var}(u|X)={\rm Var}(Y|X)={\rm E}(Y^2|X)-[{\rm E}(Y|X)]^2={\rm E}(Y|X)-[{\rm E}(Y|X)]^2 \ ,V a r (u ∣X )=V a r (Y ∣X )=E (Y 2 ∣X )−[E (Y ∣X )]2 =E (Y ∣X )−[E (Y ∣X )]2 ,
将响应概率代入可以得到
V a r ( u ∣ X ) = p ( X ) − [ p ( X ) ] 2 = p ( X ) [ 1 − p ( X ) ] . {\rm Var}(u|X)=p(X)-[p(X)]^2=p(X)[1-p(X)] \ .V a r (u ∣X )=p (X )−[p (X )]2 =p (X )[1 −p (X )].
因此可以看出 V a r ( u ∣ X ) {\rm Var}(u|X)V a r (u ∣X ) 不是常数，而是一个关于解释变量 X X X 的函数。
(3) 干扰项非正态性问题
由上述异方差问题的推导过程，我们可以看出干扰项 u = Y − β 0 − β 1 X u=Y-\beta_0-\beta_1X u =Y −β0 −β1 X 也服从伯努利分布，导致在小样本情况下统计推断困难。
针对上述问题，我们也有相应的解决方案。
把 Y Y Y 发生的响应概率描述成关于 X β \boldsymbol{X}\boldsymbol\beta X β 的一个函数 G ( X β ) G(\boldsymbol{X}\boldsymbol\beta)G (X β) ，且满足 0 ≤ G ( X β ) ≤ 1 0\leq G(\boldsymbol{X}\boldsymbol\beta)\leq 1 0 ≤G (X β)≤1 。容易想到，我们可以利用概率的累积分布函数建立非线性概率模型，概率分布函数的取值范围是 [ 0 , 1 ] [0,\ 1][0 ,1 ] 。即模型设定如下：
P ( Y = 1 ∣ X ) = F ( γ 0 + γ 1 X ) , P(Y=1|X)=F(\gamma_0+\gamma_1X) \ ,P (Y =1 ∣X )=F (γ0 +γ1 X ),
Y = F ( γ 0 + γ 1 X ) + ε . Y=F(\gamma_0+\gamma_1X)+\varepsilon \ .Y =F (γ0 +γ1 X )+ε.
该分布函数的形式决定了不同的模型：
- 当F ( ⋅ ) = Φ ( ⋅ ) F(\cdot)=\Phi(\cdot)F (⋅)=Φ(⋅) 时，P ( Y = 1 ∣ X ) = Φ ( γ 0 + γ 1 X ) P(Y=1|X)=\Phi(\gamma_0+\gamma_1X)P (Y =1 ∣X )=Φ(γ0 +γ1 X )，称为 probit 模型。
- 当F ( ⋅ ) = Λ ( ⋅ ) F(\cdot)=\Lambda(\cdot)F (⋅)=Λ(⋅) 时，P ( Y = 1 ∣ X ) = Λ ( γ 0 + γ 1 X ) P(Y=1|X)=\Lambda(\gamma_0+\gamma_1X)P (Y =1 ∣X )=Λ(γ0 +γ1 X )，称为 logit 模型。
下面我们详细介绍这两类模型的分布函数。
两种非线性概率模型
分布函数：标准正态分布
Φ ( z ) = ∫ − ∞ z 1 2 π exp ( − x 2 2 ) d x . \Phi(z)=\int_{-\infty}^z\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{x^2}{2}\right){\rm d}x \ .Φ(z )=∫−∞z 2 π1 exp (−2 x 2 )d x .
模型设定：
P ( Y = 1 ∣ X ) = Φ ( γ 0 + γ 1 X ) . P(Y=1|X)=\Phi(\gamma_0+\gamma_1X) \ .P (Y =1 ∣X )=Φ(γ0 +γ1 X ).
参数估计：
P ( Y = 1 ^ ∣ X ) = Φ ( γ ^ 0 + γ ^ 1 X ) . P(\widehat{Y=1}|X)=\Phi(\hat\gamma_0+\hat\gamma_1X) \ .P (Y =1 ∣X )=Φ(γ^0 +γ^1 X ).
边际效应：
∂ P ( Y = 1 ∣ X 1 ) ∂ X 1 = ϕ ( γ 0 + γ 1 X ) ⋅ γ 1 . \frac{\partial P(Y=1|X_1)}{\partial X_1}=\phi(\gamma_0+\gamma_1X)\cdot \gamma_1 \ .∂X 1 ∂P (Y =1 ∣X 1 )=ϕ(γ0 +γ1 X )⋅γ1 .
分布函数：Logit 分布函数
Λ ( z ) = e z 1 + e z . \Lambda(z)=\frac{e^z}{1+e^z} \ .Λ(z )=1 +e z e z .
密度函数：Logit 概率密度
λ ( z ) = e z [ 1 + e z ] 2 . \lambda(z)=\frac{e^z}{[1+e^z]^2} \ .λ(z )=[1 +e z ]2 e z .
模型设定：
P ( Y = 1 ∣ X ) = Λ ( γ 0 + γ 1 X ) = e γ 0 + γ 1 X 1 + e γ 0 + γ 1 X . P(Y=1|X)=\Lambda(\gamma_0+\gamma_1X)=\frac{e^{\gamma_0+\gamma_1X}}{1+e^{\gamma_0+\gamma_1X}} \ .P (Y =1 ∣X )=Λ(γ0 +γ1 X )=1 +e γ0 +γ1 X e γ0 +γ1 X .
参数估计：
P ( Y = 1 ^ ∣ X ) = Λ ( γ ^ 0 + γ ^ 1 X ) . P(\widehat{Y=1}|X)=\Lambda(\hat\gamma_0+\hat\gamma_1X) \ .P (Y =1 ∣X )=Λ(γ^0 +γ^1 X ).
边际效应：
∂ P ( Y = 1 ∣ X 1 ) ∂ X 1 = λ ( γ 0 + γ 1 X ) ⋅ γ 1 . \frac{\partial P(Y=1|X_1)}{\partial X_1}=\lambda(\gamma_0+\gamma_1X)\cdot \gamma_1 \ .∂X 1 ∂P (Y =1 ∣X 1 )=λ(γ0 +γ1 X )⋅γ1 .
机会比率（Odds Ratio）：
p 1 − p = e γ 0 + γ 1 X . \frac{p}{1-p}=e^{\gamma_0+\gamma_1X} \ .1 −p p =e γ0 +γ1 X .
对数机会比率（Logit）：
ln ( p 1 − p ) = γ 0 + γ 1 X . \ln\left(\frac{p}{1-p}\right)=\gamma_0+\gamma_1X \ .ln (1 −p p )=γ0 +γ1 X .
- 多数情况下，两个模型十分类似，没有必然的原因去选择一个模型而放弃另一个模型。
- 主要区别在于 logistic 分布具有较为平坦的尾部，也就是说，logistic 分布比标准正态分布以更慢的速度趋近于0 0 0 或1 1 1 。
- 因为 Logit 模型在数学及解释意义上较 Probit 模型简单，所以在实际研究中更多选择 Logit 模型。
- 在机器学习中，Logit 模型可以作为一种常用的监督学习的分类器。
极大似然估计
考虑一个多元 Probit 或 Logit 模型，我们仍然用 F ( ⋅ ) F(\cdot)F (⋅) 表示累积分布函数：
E ( Y ∣ X ) = F ( β 0 + β 1 X 1 + ⋯ + β k X k ) = F ( X β ) , {\rm E}(Y|\boldsymbol{X})=F(\beta_0+\beta_1X_1+\cdots+\beta_kX_k)=F(\boldsymbol{X\beta}) \ ,E (Y ∣X )=F (β0 +β1 X 1 +⋯+βk X k )=F (X β),
由于 E ( Y ∣ X ) {\rm E}(Y|\boldsymbol{X})E (Y ∣X ) 的非线性性质，所以 OLS 和 WLS 都不适用。
我们用 p p p 来表示响应概率 P ( Y = 1 ∣ X ) P(Y=1|\boldsymbol X)P (Y =1 ∣X ) ，此处 p p p 仍然是关于 X \boldsymbol{X}X 的函数，在这里我们省略了解释变量 X \boldsymbol X X 。由于我们观察不到 p p p 的值，而只能观察到 Y Y Y 的结果。又由于 Y Y Y 是二值变量，服从伯努利分布，即
P ( Y i = 1 ∣ X ) = p i , P ( Y i = 0 ∣ X ) = 1 − p i , P(Y_i=1|\boldsymbol X)=p_i \ , \ \ \ \ P(Y_i=0|\boldsymbol X)=1-p_i \ ,P (Y i =1 ∣X )=p i ,P (Y i =0 ∣X )=1 −p i ,
因此我们可以用极大似然估计的方法来进行参数估计。此外，因为极大似然估计基于 Y Y Y 在给定 X \boldsymbol{X}X 下的分布，所以 V a r ( Y ∣ X ) {\rm Var}(Y|\boldsymbol{X})V a r (Y ∣X ) 中的异方差性自动得到解释。
伯努利分布的概率分布函数：
如果随机变量 X X X 只取 0 0 0 和 1 1 1 两个值，并且相应的概率为：
P ( X = 1 ) = p , P ( X = 0 ) = 1 − p , 0 < p < 1 , P(X=1)=p \ , \ \ \ \ P(X=0)=1-p \ , \ \ \ \ 0
则称随机变量 X X X 服从参数为 p p p 的伯努利分布，X X X 的概率分布函数可写为
f ( x ) = { p x ( 1 − p ) 1 − x , x = 0 , 1 0 , x ≠ 0 , 1 . f(x)=\left{ \begin{array}{lc} p^x(1-p)^{1-x}\ \ , & x=0,\,1 \ 0 \ \ , & x\neq0,\,1 \end{array}\right. \ .f (x )={p x (1 −p )1 −x ,0 ,x =0 ,1 x =0 ,1 .
把每一个观测值都看成是一个独立的伯努利分布，构造 Y i Y_i Y i 在给定 X i \boldsymbol{X}i X i 下的概率分布函数：
f ( Y i ∣ X i , β ) = [ F ( X i β ) ] Y i [ 1 − F ( X i β ) ] 1 − Y i , Y i = 0 , 1 . f(Y_i|\boldsymbol{X}_i,\boldsymbol\beta)=\left[F(\boldsymbol{X}_i\boldsymbol\beta)\right]^{Y_i}\left[1-F(\boldsymbol{X}_i\boldsymbol\beta)\right]^{1-Y_i} \ , \ \ \ \ Y_i=0,\,1 \ .f (Y i ∣X i ,β)=[F (X i β)]Y i [1 −F (X i β)]1 −Y i ,Y i =0 ,1 .
为了简便表示，我们省略条件并且用 p i p_i p i 代替响应概率：
f ( Y i ) = p i Y i ( 1 − p i ) 1 − Y i , Y i = 0 , 1 . f(Y_i)=p_i^{Y_i}(1-p_i)^{1-Y_i}\ , \ \ \ \ Y_i=0,\ 1 \ .f (Y i )=p i Y i (1 −p i )1 −Y i ,Y i =0 ,1 .
于是样本容量为 n n n 的 Y Y Y 值的联合分布函数为：
f ( Y 1 , Y 2 , ⋯ , Y n ) = ∏ i = 1 n f ( Y i ) = ∏ i = 1 n p i Y i ( 1 − p i ) 1 − Y i . f(Y_1,Y_2,\cdots,Y_n)=\prod{i=1}^nf(Y_i)=\prod_{i=1}^np_i^{Y_i}(1-p_i)^{1-Y_i} \ .f (Y 1 ,Y 2 ,⋯,Y n )=i =1 ∏n f (Y i )=i =1 ∏n p i Y i (1 −p i )1 −Y i .
以上联合概率分布称为似然函数，对上式两边取自然对数，可以计算得到对数似然函数：
ln L ( β ) = ln ( ∏ i = 1 n f ( Y i ∣ X i , β ) ) = ∑ i = 1 n ln f ( Y i ∣ X i , β ) = ∑ i = 1 n [ Y i ln p i + ( 1 − Y i ) ln ( 1 − p i ) ] = ∑ i = 1 n [ Y i ln p i 1 − p i ] + ∑ i = 1 n ln ( 1 − p i ) . \begin{aligned} \ln\, L(\boldsymbol\beta)&=\ln\left(\prod_{i=1}^n f(Y_i|\boldsymbol{X_i},\boldsymbol{\beta}) \right)\ &=\sum_{i=1}^n\ln f(Y_i|\boldsymbol{X_i},\boldsymbol{\beta}) \ &=\sum_{i=1}^n\left[Y_i\ln p_i+(1-Y_i)\ln(1-p_i)\right] \ &=\sum_{i=1}^n\left[Y_i\ln\frac{p_i}{1-p_i}\right]+\sum_{i=1}^n\ln(1-p_i) \ . \ \end{aligned}ln L (β)=ln (i =1 ∏n f (Y i ∣X i ,β))=i =1 ∑n ln f (Y i ∣X i ,β)=i =1 ∑n [Y i ln p i +(1 −Y i )ln (1 −p i )]=i =1 ∑n [Y i ln 1 −p i p i ]+i =1 ∑n ln (1 −p i ).
通过最大化对数似然函数得到 β \boldsymbol\beta β 的极大似然估计量 MLE ：
max ln L ( β ) ⟹ β ^ 0 , β ^ 1 , ⋯ , β ^ k . \max\ \ln\, L(\boldsymbol\beta) \ \ \ \ \Longrightarrow \ \ \ \ \hat\beta_0,\ \hat\beta_1,\cdots,\ \hat\beta_k \ .max ln L (β)⟹β^0 ,β^1 ,⋯,β^k .
对于 Logit 模型，我们有
ln p i 1 − p i = β 0 + β 1 X i 1 + ⋯ + β k X i k , \ln\frac{p_i}{1-p_i}=\beta_0+\beta_1X_{i1}+\cdots+\beta_kX_{ik} \ ,ln 1 −p i p i =β0 +β1 X i 1 +⋯+βk X i k ,
1 − p i = 1 1 + e β 0 + β 1 X i 1 + ⋯ + β k X i k . 1-p_i=\frac{1}{1+e^{\beta_0+\beta_1X_{i1}+\cdots+\beta_kX_{ik}}} \ .1 −p i =1 +e β0 +β1 X i 1 +⋯+βk X i k 1 .
所以对数似然函数可以写为：
ln L ( β ) = ∑ i = 1 n [ Y i ( β 0 + β 1 X i 1 + ⋯ + β k X i k ) ] − ∑ i = 1 n ln ( 1 + e β 0 + β 1 X i 1 + ⋯ + β k X i k ) . \ln L(\boldsymbol\beta)=\sum_{i=1}^n\left[Y_i(\beta_0+\beta_1X_{i1}+\cdots+\beta_kX_{ik})\right]-\sum_{i=1}^n\ln\left(1+e^{\beta_0+\beta_1X_{i1}+\cdots+\beta_kX_{ik}}\right) \ .ln L (β)=i =1 ∑n [Y i (β0 +β1 X i 1 +⋯+βk X i k )]−i =1 ∑n ln (1 +e β0 +β1 X i 1 +⋯+βk X i k ).
最大化上面的对数似然函数，使观测到的 Y Y Y 的概率尽可能大，就可以得到 β \boldsymbol\beta β 的参数估计值。
似然比检验
基本思想：由于 MLE 最大化了对数似然函数，所以施加约束条件一般会导致一个更小（不会更大）的对数似然函数值。
假设检验如下的约束条件：
H 0 : β 1 = β 2 = 0 , H_0:\beta_1=\beta_2=0 \ ,H 0 :β1 =β2 =0 ,
则无约束的对数似然函数 ln L u r \ln\, L_{ur}ln L u r 由如下的模型计算得到：
P ( Y = 1 ∣ X ) = F ( β 0 + β 1 X 1 + β 2 X 2 + β 3 X 3 ⋯ + β k X k ) , P(Y=1|X)=F(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3X_3\cdots+\beta_kX_k) \ ,P (Y =1 ∣X )=F (β0 +β1 X 1 +β2 X 2 +β3 X 3 ⋯+βk X k ),
受约束的对数似然函数 ln L r \ln\, L_r ln L r 由施加约束条件的模型计算得到：
P ( Y = 1 ∣ X ) = F ( β 0 + β 3 X 3 + ⋯ + β k X k ) , P(Y=1|X)=F(\beta_0+\beta_3X_3+\cdots+\beta_kX_k) \ ,P (Y =1 ∣X )=F (β0 +β3 X 3 +⋯+βk X k ),
构造似然比统计量 L R LR L R 如下：
L R = 2 ( ln L u r − ln L r ) . LR=2(\ln\, L_{ur}-\ln\, L_r) \ .L R =2 (ln L u r −ln L r ).
在 H 0 H_0 H 0 假设下，似然比 L R LR L R 服从渐进 χ 2 \chi^2 χ2 分布：
L R ∼ χ 2 ( q ) , LR \sim \chi^2(q) \ ,L R ∼χ2 (q ),
其中 q q q 是约数个数。
拟合优度检验
对于极大似然估计的非线性模型，最常用的拟合优度是 McFadden 提出的 pseudo- R 2 \text{pseudo-}R^2 pseudo-R 2 ：
pseudo- R 2 = 1 − ln L ln L 0 , \text{pseudo-}R^2=1-\frac{\ln L}{\ln L_0} \ ,pseudo-R 2 =1 −ln L 0 ln L ,
其中 ln L 0 \ln L_0 ln L 0 是表示只有截距项的模型的对数似然函数值。用受约束模型的思想，可以理解为 ln L \ln L ln L 是无约束模型的对数似然函数值，ln L 0 \ln L_0 ln L 0 是约束条件为 β 1 = β 2 = ⋯ = β k = 0 \beta_1=\beta_2=\cdots=\beta_k=0 β1 =β2 =⋯=βk =0 的受约束模型的对数似然函数值，表示解释变量对 Y Y Y 的分类结果均无解释能力。
如果模型是恰好完全拟合的，则 ln L = 0 \ln L=0 ln L =0 ，此时 pseudo- R 2 = 1 \text{pseudo-}R^2=1 pseudo-R 2 =1 。
通常情况下，∣ ln L ∣ < ∣ ln L 0 ∣ |\ln L|< |\ln L_0|∣ln L ∣<∣ln L 0 ∣ ，因此 0 < pseudo- R 2 < 1 0 。
如果解释变量均无解释能力，则 ∣ ln L ∣ = ∣ ln L 0 ∣ |\ln L|=|\ln L_0|∣ln L ∣=∣ln L 0 ∣ ，此时 pseudo- R 2 = 0 \text{pseudo-}R^2=0 pseudo-R 2 =0 。
Original: https://blog.csdn.net/weixin_45449414/article/details/112062778
Author: 这个XD很懒
Title: 【计量经济学导论】14. 定性响应回归模型
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/635853/
转载文章受原作者版权保护。转载请注明原作者出处！