杜克大学计算机科学教授辛西娅·鲁丁说，但这就是问题所在。“我们可以输入医学图像，然后观察另一端的结果('这是恶性病变的照片'，但是很难知道两者之间发生了什么。”
这就是所谓的“黑匣子”问题。机器的想法-网络的隐藏层-甚至对于制造它的人来说都是难以理解的。
“深度学习模型的问题在于它们是如此复杂，以至于我们实际上并不知道他们正在学习什么。”杜克大学鲁丁实验室的学生。“他们经常可以利用我们不希望他们得到的信息。他们的推理过程可能是完全错误的。”
鲁丁(Rudin)，陈(Chen)和杜克大学(Duke)的本科毕业生贝jie杰(Yijie Bei)提出了解决此问题的方法。通过修改这些预测背后的推理过程，研究人员可以更好地对网络进行故障排除或了解它们是否值得信赖。
大多数方法试图通过找出指向图像的关键特征或像素来揭示导致计算机视觉系统正确答案的原因：“这种胸部X射线的生长被归类为恶性的，因为对于该模型，这些领域对于肺癌的分类至关重要。”这样的方法并不能揭示网络的原因，而只是揭示了它所处的位置。
公爵队尝试了另一种方法。他们的方法不是尝试事后考虑网络的决策，而是训练网络通过表达对概念的理解来展示其工作。他们的方法通过揭示网络需要多少来思考不同的概念来帮助破译它所看到的内容而起作用。鲁丁说：“它弄清楚了在网络层中如何表示不同的概念。”
例如，给定一个图书馆的图像，该方法可以确定神经网络的不同层是否以及依赖于它们对“书”的心理表达来识别场景的程度和程度。
研究人员发现，只需对神经网络进行少量调整，就可以像原始网络一样准确地识别图像中的对象和场景，同时在网络的推理过程中获得实质性的可解释性。鲁丁说：“该技术的应用非常简单。”
该方法控制信息流经网络的方式。它涉及用新部分替换神经网络的一个标准部分。新部分仅约束网络中的单个神经元响应人类所理解的特定概念而触发。这些概念可以是日常物品的类别，例如“书”或“自行车”。但是它们也可以是一般特征，例如“金属”，“木材”，“冷”或“温暖”。通过一次只让一个神经元控制一个概念的信息，就很容易理解网络的“思维方式”。
