机器学习工具变量方法：应对弱工具变量与高维协变量的模拟研究

1. 项目概述与核心问题

在实证研究和数据科学项目中，我们常常需要回答“如果……那么会怎样”这类因果问题。比如，教育程度是否真的能提高个人收入？一项新政策对经济增长的因果效应有多大？然而，现实数据中普遍存在的“内生性”问题，就像一块绊脚石，让简单的相关性分析无法揭示真实的因果关系。内生性可能源于遗漏变量、测量误差或双向因果关系。这时，“工具变量”就成了一把关键的钥匙。它的核心思想是找到一个变量，这个变量只通过影响我们关心的“处理变量”来间接影响结果，而与其他干扰因素无关。理想情况下，这个工具变量就像一场随机实验的分配机制，为我们提供了处理变量的外生变异来源。

但在实际应用中，找到一把完美的“钥匙”极其困难。我们常常面临两个棘手的现实：一是工具变量可能“强度不足”，它与处理变量的相关性很弱，这被称为“弱工具变量”问题；二是我们手头的数据维度越来越高，除了核心变量，还有数十甚至数百个潜在的混杂因素需要控制。传统的线性两阶段最小二乘法在面对这些复杂情况时，其估计可能产生严重偏差，构建的置信区间也常常“名不副实”，实际覆盖率远低于宣称的95%水平。

近年来，机器学习方法以其强大的非线性拟合和高维数据处理能力，为因果推断注入了新的活力。那么，一个很自然的问题是：在面对弱工具变量和高维协变量的双重挑战时，基于机器学习的工具变量方法，是否比传统线性方法更具优势？它能多大程度上改善估计的精度和统计推断的可靠性？这正是我们本次模拟研究试图回答的核心问题。我们将通过构建一个受控的“数字实验室”，系统地比较线性IV方法与机器学习IV方法在不同场景下的表现，为你在实际项目中的方法选型提供扎实的参考依据。

2. 模拟研究的设计思路与核心设定

要科学地比较不同方法，一个精心设计的模拟环境至关重要。这就像测试汽车性能需要在专业的试车场进行一样。我们的模拟框架旨在捕捉现实数据分析中的关键复杂性，同时保持核心参数可控，以便清晰地观察不同因素的影响。整个设计的核心是构建一个包含内生性、工具变量、处理变量、结果变量以及高维协变量的数据生成过程。

2.1 基础数据生成机制

我们首先定义一个包含多种混杂因素的数据生成结构。假设存在一个不可观测的潜在混淆因子 Hi ，它同时影响处理变量 Di 和结果变量 Yi ，这是内生性的典型来源。此外，我们还有可观测的高维协变量 Xi ，它可能包含与处理、结果都相关的变量。工具变量 Zi 被设计为与 Xi 相关，但与不可观测的混淆因子 Hi 和随机误差独立。

具体的数据生成过程如下：我们生成一个5维的协变量向量 Xi ，其各分量服从均值为0、方差为1的多维正态分布，且分量之间存在相关性（协方差矩阵的非对角线元素为0.5）。不可观测的混淆因子 Hi 以及各个误差项 EZ,i ， Eδ,i ， Eϵ,i 均独立地从标准正态分布中抽取。工具变量 Zi 被设定为协变量 Xi 前两个分量的线性组合加上独立噪声。处理变量 Di 则由工具变量 Zi 、协变量 Xi 以及包含混淆因子 Hi 的项 δi 共同决定。结果变量 Yi 则遵循一个部分线性模型：它包含处理变量 Di 的效应（这个效应本身可能是异质性的，即随某个变量 Vi 变化）、一个仅由协变量 Xi 决定的函数 g(Xi) ，以及一个包含 Hi 的误差项 ϵi 。

这个设定巧妙地模拟了现实： Hi 的存在使得 Di 和 Yi 的误差项相关，导致内生性； Zi 通过影响 Di 来间接影响 Yi ，且与 Hi 独立，满足工具变量的外生性要求；高维且相关的 Xi 代表了我们需要控制的众多混杂因素。

2.2 关键变量与参数化

为了研究我们关心的核心问题，我们对几个关键部分进行了参数化：

1. 工具变量强度 s ：这是本研究的核心变量之一。我们在处理变量 Di 的生成方程 f(Zi, Xi) 中，显式地加入了强度参数 s 与 Zi 的交互项。当 s = 0 时， Zi 完全无法影响 Di ，工具变量完全无效。随着 s 从0增大到1， Zi 对 Di 的解释力逐渐增强，工具变量从“极弱”变为“相对较强”。这允许我们观察方法表现随工具变量强度变化的连续谱。

2. 处理变量生成函数的线性与非线性 ：我们设定了两种形式的 f(Zi, Xi) ：

   • 线性设定 (Z lin.) ： f(z, x) = -sin(x1) + x2 + s * z 。这里工具变量 Zi 以线性方式进入。
   • 非线性设定 (Z nonlin.) ： f(z, x) = -sin(x1) + x2 + s * (cos(z) + 0.2z) 。这里工具变量 Zi 以非线性（余弦函数）形式进入。这个设定用于测试当工具变量与处理变量之间的关系不符合线性假设时，不同方法的稳健性。

3. 处理效应的同质性与异质性 ：我们研究了两种因果效应形式：

   • 同质处理效应 (hom.) ：处理效应 β 是一个常数，不随个体变化。即 Yi = β * Di + g(Xi) + ϵi 。
   • 异质处理效应 (het.) ：处理效应 β(Vi) 是一个关于某个变量 Vi （这里取 Vi = Xi,1 ）的函数。我们具体研究了在 v=0 和 v=1.5 两个点上的局部处理效应 β(v) 。这模拟了现实世界中处理效果因人而异的普遍情况。

4. 内生性强度 ：通过调整 δi 和 ϵi 的生成公式，我们增加了它们之间的相关性，从而强化了模型的内生性问题，让测试环境更具挑战性。

2.3 对比方法与评估指标

我们将主要对比两类估计方法：

• 基于线性IV的方法 (linearIV) ：代表传统方法，通常使用两阶段最小二乘法，并在第一阶段和第二阶段可能包含对协变量 Xi 的线性控制。
• 基于机器学习的IV方法 (mlIV) ：我们使用广义可加模型（GAM）和XGBoost这两种强大的机器学习算法来灵活地估计第一阶段（即 Di 对 Zi 和 Xi 的回归）和其余nuisance函数（如 Yi 对 Xi 的回归）。这些方法能够自动捕捉变量间的非线性关系和高维交互。