普林斯顿大学的研究人员开发了一种工具，用于标记用于训练人工智能(AI)系统的图像集中的潜在偏差。这项工作是纠正和防止AI系统中普遍存在的偏见的一项较大努力的一部分，该偏见影响了从信贷服务到法庭判决程序的所有内容。
尽管AI系统中偏见的来源多种多样，但一个主要的原因是从在线资源收集的大量图像中包含的定型图像，工程师使用这些图像来开发计算机视觉，这是AI的一个分支，允许计算机识别人，物体和动作。由于计算机视觉的基础是建立在这些数据集上的，因此反映社会定型观念和偏见的图像会无意间影响计算机视觉模型。
为了从源头上解决这个问题，普林斯顿视觉AI实验室的研究人员开发了一种开源工具，该工具可以自动发现视觉数据集中的潜在偏差。该工具允许数据集创建者和用户在使用图像收集来训练计算机视觉模型之前纠正代表性不足或刻板印象的问题。在相关工作中，Visual AI Lab的成员发布了现有方法的比较，这些方法可防止计算机视觉模型本身出现偏差，并提出了一种新的，更有效的缓解偏差的方法。
第一个工具称为REVISE(揭示视觉偏见)，它使用统计方法来检查数据集的三个方面：基于对象，基于性别和基于地理位置的潜在偏见或代表性不足。REVISE是一种全自动工具，建立在早期工作的基础上，涉及以需要用户更多指导的方式来过滤和平衡数据集的图像。该研究报告于8月24日在虚拟的欧洲计算机视觉会议上发表。
REVISE使用现有的图像注释和度量来评估数据集的内容，例如对象计数，对象和人的共现以及图像的原产国。在这些测量中，该工具可显示不同于中值分布的图案。
例如，在一个测试的数据集中，REVISE显示，包括人和花朵在内的图像在雄性和雌性之间是不同的：雄性更经常出现在仪式或会议上，并带有花朵，而雌性则倾向于出现在舞台上或绘画中。(分析仅限于反映图像中出现的人的二元性别的注释。)
一旦该工具揭示了这些差异，“那么，这就是一个完全无害的事实，或者是否正在发生更深层的事情，而这很难自动化，”计算机科学与专业副教授奥尔加·鲁萨科夫斯基(Olga Russakovsky)说。视觉AI实验室的调查员。Russakovsky与研究生Angelina Wang和计算机科学副教授Arvind Narayanan共同撰写了该论文。
例如，REVISE显示，包括飞机，床和比萨饼在内的物体在包含它们的图像中比在其中一个数据集中的典型物体更大。这样的问题可能不会永久保留社会定型观念，但是对于训练计算机视觉模型可能会出现问题。作为补救措施，研究人员建议收集飞机图像，其中还包括山峰，沙漠或天空标签。
但是，计算机视觉数据集中全球区域的代表性不足，可能会导致AI算法出现偏差。与以前的分析一致，研究人员发现，对于图像的来源国(按人口标准化)，美国和欧洲国家在数据集中的代表过多。除此之外，REVISE还显示，对于来自世界其他地区的图像，图像标题通常不是使用本地语言，这表明其中许多图像是被游客捕获的，并可能导致某个国家/地区的视角偏斜。
Russakovsky说，专注于对象检测的研究人员可能会忽略计算机视觉的公平性问题。她说：“但是，这种地理分析表明，物体识别仍然可能存在很大的偏见和排他性，并且会不平等地影响不同的地区和人民。”
共同作者，计算机科学研究生安吉丽娜·王说：“直到最近，才对计算机科学中的数据集收集实践进行彻底的审查。”她说，图片大多是“从互联网上抓取的，人们并不总是意识到他们的图片在[数据集中]被使用。我们应该从更多的人群中收集图片，但是当我们这样做时，我们应该小心我们以尊重的方式获得图像。”
“工具和基准测试是重要的一步……它们使我们能够在开发初期就抓住这些偏见，并重新考虑我们的问题设置和假设以及数据收集实践，”计算机科学助理教授Vicente Ordonez-Roman说。未参与研究的弗吉尼亚大学。“在计算机视觉中，有关刻板印象的表示和传播存在一些特定的挑战。诸如普林斯顿视觉AI实验室所做的工作有助于阐明这些问题并引起计算机视觉界的注意，并提供了缓解这些问题的策略。 ”
视觉AI实验室的一项相关研究对防止计算机视觉模型学习可能反映偏差的虚假关联进行了研究，这些虚假关联可能会反映偏差，例如过度预测活动(例如以女性形象烹饪或以男性形象进行计算机编程)。视觉提示(例如，斑马是黑白的，或者篮球运动员经常穿着球衣)有助于提高模型的准确性，因此在开发有效模型的同时避免出现问题性关联是该领域的重大挑战。
在6月举行的虚拟计算机视觉和模式识别国际国际会议上提出的研究中，电气工程专业的研究生Zeyu Wang及其同事比较了四种缓解计算机视觉模型偏差的技术。
他们发现一种称为对抗训练或“盲目的公平”的流行技术损害了图像识别模型的整体性能。在对抗训练中，模型无法考虑有关受保护变量的信息-在研究中，研究人员使用性别作为测试案例。在团队的分析中，另一种方法称为域独立培训，即“通过意识进行公平”，效果更好。
鲁萨科夫斯基说：“从本质上讲，这意味着我们将针对不同性别进行不同的活动频率，是的，这一预测将取决于性别。因此，我们只是接受这一观点。”
本文中概述的技术通过与其他视觉提示分开考虑受保护的属性来减轻潜在的偏见。
王泽宇说：“我们如何真正解决偏差问题是一个更深层次的问题，因为我们当然可以看到它存在于数据本身中。”他说：“但是在现实世界中，人们仍然可以在意识到我们的偏见的同时做出良好的判断”，并且可以设置计算机视觉模型以类似的方式工作。
