ICML 2019神经网络的可解释性既有NBA最新资讯在其中寻找答案又有数学建模给予它坚实的理论基础
从炼丹到化学：深度神经网络的解释性探索
在这篇文章中，我们将探讨如何通过数学建模来理解和解释深度神经网络（DNNs）的行为。我们会谈论如何从经验主义的调参式训练转向基于评测指标的定量指导，这是一个新一代人工智能需要面对的问题，也是当前深度学习研究的一个新的希望。
首先，我们需要认识到，DNNs被认为是“黑箱”，因为它们的特征或决策逻辑在语义层面难以理解，而且缺乏数学工具去诊断与评测网络的特征表达能力。我们的工作旨在解决这个问题，特别是在自然语言处理（NLP）领域。
我们提出了一个算法，可以测量每一层特征所包含输入句子的信息量。这项工作既有NBA最新资讯在其中寻找答案，又有数学建模给予它坚实的理论基础。我们的目标是找到一种普适性的方法，不仅可以诊断同一神经网络中不同层之间语义信息的继承与遗忘，还可以比较针对同一任务不同神经网络中的任意层之间语义信息分布，以及不同任务不同的神经网络之间信息处理特点。
通过这种方法，我们发现BERT模型在NLP任务中的表现优于其他模型，如Transformer、LSTM和CNN。这可能是因为BERT模型能够更精确地找到与任务相关的目标单词，而其他模型则往往使用大范围的邻接单词进行预测。此外，BERT模型能够更快地遗忘不相关信息，使其更加高效地处理任务。
总之，本文展示了如何通过数学建模来提高深度学习研究的一般性和可解释性，并为未来的人工智能研究提供了一种新的视角。
