人工智能经常被提及的挑战之一是无法获得关于人工智能系统如何做出决策的充分理解的解释。尽管这对于机器学习应用程序(例如产品推荐或个性化方案)而言可能不是挑战，但在需要理解决策的关键应用程序中使用AI都会面临透明性和可解释性问题。
在最近的AI Today播客中，斯坦福大学计算机科学系战略研究计划主任Steve Eglash分享了有关透明和负责任的AI演变的见解和研究。Eglash教授是计算机科学系的一名工作人员，他与一小群人一起开展研究计划，与大学以外的公司合作。这个小组帮助公司与学生共享观点和技术，学生与公司共享技术。在加入斯坦福大学之前，史蒂夫是一名电气工程师。在这个职位上，他介于技术和科学之间。在他最终进入学术界之前，他还从事过投资，政府，研究工作。
随着AI在每个行业和政府中得到广泛使用，深入了解AI使用的机会为斯坦福大学的学生提供了许多探索新领域的机会。充分了解人工智能的工作原理至关重要，因为我们越来越依赖人工智能来执行各种任务，例如自动驾驶汽车。在这些情况下，错误可能是致命的或导致严重的伤害或伤害。因此，更深入地研究透明和可解释的AI系统可以使这些系统更加值得信赖和可靠。确保自动驾驶汽车等AI技术的安全至关重要。我们需要确保AI能够安全运行。因此，我们需要能够理解计算机做出决策的方式和原因。与此同时，
许多现代的AI系统都在神经网络上运行，而我们仅了解其基础知识，因为算法本身很少提供解释方式。缺乏解释性通常被称为AI系统的“黑匣子”。研究人员将注意力集中在神经网络如何工作的细节上。由于神经网络的规模，很难检查它们的错误。神经元及其权重之间的每个连接都增加了复杂性，使事后检查决策变得非常困难。
Reluplex-透明AI的一种方法
验证是证明神经网络特性的过程。Reluplex是最近由许多人设计的一种程序，用于测试大型神经网络。Reluplex背后的技术使其能够在大型神经网络中快速运行。Reluplex被用于测试自主无人机的机载碰撞检测和回避系统。使用该程序时，该程序能够证明网络的某些部分可以正常工作。但是，它也能够找到网络中的错误，该错误可以在下一个实现中修复。
关于黑匣子的想法，可解释性是史蒂夫提出的另一个领域。如果您有大型模型，是否可以了解模型如何进行预测?他以图像识别系统为例，试图了解海滩上狗的照片。它可以通过两种方式识别狗。AI可以拍摄组成狗的像素并将其与狗关联。另一方面，它可能需要围绕狗的海滩和天空的像素来创建对狗在那里的了解。如果不了解系统是如何做出这些决定的，那么您将不知道网络实际上正在接受什么培训。
如果AI使用第一种方法来了解存在的狗，那么它正在以一种可以模拟我们自己的大脑工作方式的理性方式进行思考。但是，替代方法可以视为弱关联，因为它不依赖包含狗的图片的实际部分。为了确认AI是否正确处理了图像，我们需要知道它是如何做到的，并且有很大一部分研究正在进行此任务以及与之相似的任务。
探索数据偏差
人工智能系统的数据偏差也是斯坦福大学的重点。根据用于训练机器学习模型的数据，发现人工智能系统存在相当大的偏差。AI用来做决定的数据通常会导致偏差，因为计算机没有进行公正分析所需的信息。除了有偏见的数据问题之外，系统本身也可以通过仅考虑特定的组而使决策偏向偏见。当您训练机器学习模型以倾向于较大的数据组时，它很可能会偏向那些较大的组。
我们需要消除AI系统与人之间的互动越来越多的偏见。人工智能现在正在为人类做出决策，例如保险资格，人员再次犯罪的可能性以及其他可能改变生活的决策。人工智能做出的决定具有现实世界的后果，我们不希望计算机使不平等和不公正现象长期存在。
为了消除AI的偏见，数据科学家需要分析AI并根据社会偏见做出决策。至此，Percy Liang教授正在与他的学生们一起创造强大的分布优化，旨在摆脱人口统计学的影响，朝着机器的力量集中于所有人群的方向发展。其他研究人员正在致力于关注人工智能的公平与平等。
由于AI系统尚未证明其可解释性和完全的可信赖性，因此Steve认为AI将主要以增强和辅助方式使用，而不是完全独立。通过使人员处于循环中，我们可以更好地进行更改，以便在系统做出有问题的决策时保持警惕，并对AI辅助操作的最终结果施加更多控制。
