为了满足关键的业务需求，可能需要对AI进行一些调整，但是我们如何知道AI建议是否仅出于业务需要而不是出于其他原因而被调整呢?
一家公司收到1000个新职位申请，但应该雇用谁?如果将罪犯提早从监狱中释放出来，罪犯有多大可能成为重犯?随着人工智能(AI)越来越多地进入我们的生活，它可以帮助回答这些问题。但是我们如何管理AI使用的数据集中的偏差呢?
“人工智能的决策是针对我们周围可用的数据量身定制的，并且在种族，性别，国籍和其他受保护的属性方面，数据总是存在偏差。当人工智能做出决策时，它会固有地获得或加强这些偏差，卡内基梅隆大学电气与计算机工程(ECE)博士生Sanghamitra Dutta说。
杜塔说：“例如，发现邮政编码会传播种族偏见。同样，如果女性简历中包含“女性橄榄球队”这样的词组，那么一种自动化的招聘工具可能会学会降级女性的简历。为解决这一问题，已有大量研究在过去十年中开发的软件专注于机器学习的公平性并消除AI模型的偏见。
ECE教授Pulkit Grover说：“但是，为了满足关键的业务需求，可能需要排除AI的某些偏见。”他与Dutta合作，了解如何将AI应用于公平筛选求职者以及其他应用程序中。
“起初，说一些偏见是可以的，甚至在政治上是不正确的，但是在某些情况下，常识表明允许某些偏见是可以接受的。例如，消防员需要抬起受害者并将他们带出燃烧建筑物。举重是一项关键的工作要求。”格罗弗说。
在这个例子中，举起重物的能力可能偏向男性。格罗弗说：“这是一个您可能会有偏见的例子，但可以用对安全性至关重要的业务需求来解释。”
“然后，问题就变成了您如何检查AI工具是否给出的建议纯粹是由于业务需要而不是其他原因而导致的。” 或者，您如何生成仅因业务需要而偏向其推荐的新AI算法?这些是与美国关于就业歧视的法律有关的重要问题。如果雇主可以证明某项功能(例如需要举起身体)是真正的职业资格，则该偏见将被法律豁免。(这被称为“标题VII的业务必要防御”。)
AI算法已经非常擅长识别数据中的模式。如果不加以限制，由于刻板印象，这种能力可能导致不公平。因此，人工智能工具必须能够解释和捍卫他们提出的建议。团队使用其新颖的方法来训练AI模型，以通过有偏见的数据进行除草，并消除对执行工作而言并非至关重要的偏见，同时将那些偏见视为业务必需。
根据Dutta的说法，在使用其度量和模型时会遇到一些技术挑战，但是正如团队所证明的那样，这些挑战可以克服。但是，还有一些重要的社会问题需要解决。一个关键点是，他们的模型无法自动确定哪些功能对业务至关重要。Dutta解释说：“ 为特定应用程序定义关键功能不仅仅是一个数学问题，这就是为什么计算机科学家和社会科学家需要合作以扩大AI在道德雇佣实践中的作用的原因。”
除Dutta和Grover外，研究小组还由欧洲经委会教授Anupam Datta组成。ECE系统科学家Piotr Mardziel;和博士学位 候选人Praveen Venkatesh。
Dutta在2020年在纽约市举行的AAAI人工智能大会上，在名为“具有豁免特征的歧视的信息理论量化”的论文中介绍了他们的研究。
