NBER｜用大模型做实证，怎样验证放进去？
【研究问题｜用大模型做实证】
大模型让海量文本分析更便宜，怎样把这些输出用于可靠的经济学研究？论文将应用分成预测和概念测量，给出相应计量框架。路德维希、穆莱纳森与兰巴钱讨论，从财报电话会到历史报纸，研究者怎样将语言模型嵌入具体问题和统计设计。模型能力越强，越需要把所预测的对象和所测量的概念定义清楚。

【研究方法｜训练信息隔离】
预测任务关注从文本预报结果，设计需要隔离训练材料与研究样本的信息；测量任务则结合少量验证数据校准模型输出。论文用统一的计量语言解释两类场景，帮助把技术选择转为研究设计。

【主要发现｜验证样本支持参数校准】
在预测中，模型可能已在训练时接触后来的信息。选择合适模型、时间窗口和比较方式，可以让检验真正对应预先可得信息。在估计中，情绪或其他概念的标签含有误差，将人工核验样本与大规模模型输出结合，有助于得到一致而精确的参数估计。只改变模型或提示词，也可能显著改变下游估计；验证资料使这些差异能够被量化，并进入标准误和推断过程。

【分析启示｜文本预测、概念测量与验证样本的计量框架】
两类问题需要不同的检验步骤：预测聚焦信息时点，参数估计聚焦测量误差，研究目标决定怎样组织校验。作者将复杂语言模型放进熟悉的统计对象中处理，把低成本规模化输出与较小规模的高质量验证资料相配合。论文提供一套从应用目标出发的工作方法，使文本分析扩展研究边界的同时，让数据来源、误差结构与经济解释保持连接。将少量人工判断用于关键校准，可以让更多文本进入研究，同时保留可检验的推断路径。

大模型应用 计量经济学 文本分析 验证样本 实证研究 NBER论文解读
论文 实证不显著 文献阅读