揭秘真实数据之谜外部有效性分布偏移的完美答案吗
在人工智能领域，研究者们一直在探讨如何确保模型能够准确预测和适应不断变化的现实世界环境。最近，一篇由Deborah Raji撰写的文章在AI社区引起了广泛关注。她提出了一个颇具争议的问题：单纯考虑数据分布偏移远远不够，我们是否应该更加关注外部有效性（external validity）这一概念？
数据分布偏移是一个常见问题，当训练集与测试集的特征或标签发生变化时，模型可能会出现性能下降。例如，在2020年4月，一款用于败血症识别的深度学习模型被迫暂停使用，因为新冠疫情导致的人口流动和医疗需求增加，使得原本精心设计的算法难以适应新的场景。
然而，Deborah Raji认为，这种过于狭隘的关注点忽视了更广泛的问题。真实世界中的数据是动态且不可预知的，而我们却试图通过静态、理想化的地方法论来评估模型性能。这就像是在沙滩上建造城堡，而不顾海浪即将到来。
她提出了一项重要观察，即ML研究者们太过专注于检测和减少数据分布偏移，但这并没有解决核心问题——如何确保我们的系统能够在实际应用中保持高效。在她的看法中，对外部有效性的关注可以提供更全面的理解，并帮助我们避免仅仅因为忽略了潜在变量而陷入错误。
Raji还引用了一些相关案例，如JAMA杂志的一篇关于败血症预测工具对住院患者表现出的“外部有效性”的分析。这份分析显示，即使是经过严格训练和优化的小型样本也可能无法真正反映大规模应用中的行为。此外，她强调了需要从多个角度评估系统性能，不仅限于技术层面，还包括社会、伦理和经济因素等。
总之，Deborah Raji呼吁AI社区要有更多地考虑到“有效性”这一概念，以便我们能更好地理解并改进现有的机器学习系统。这一观点为未来的人工智能研究指明了一条新的道路，让我们能够开发出更加可靠、灵活且具有通用性的算法，从而最终实现人类与机器之间更加紧密、高效合作。
