卡托琳·贾穆尔(Katharine Jarmul)在2018年Goto Berlin大会上指出，输入清理可以通过过滤掉不太可能的输入，然后将其过滤掉，从而帮助我们。我们需要开始考虑将模型和放入其中的培训数据视为潜在的安全漏洞。
数据科学家，O'Reilly的作者，KIProtect的联合创始人Katharine Jarmul在2018年柏林柏林国际Going大会上谈到了如何保护人工智能。InfoQ将通过问答，摘要和文章涵盖本次会议。InfoQ采访了Jarmul，介绍了如何愚弄AI应用程序，创建健壮且安全的神经网络以及减轻数据隐私和道德数据风险。
关于如何基于神经网络的模型如何对抗对抗性示例以及这些方法将在多大程度上取得成功，已有许多积极的研究。我认为，最有趣和可行的方法之一是输入清理。我们可以认为该模型接受任何输入，无论该输入多么不切实际或不可能。对抗示例经常使用的是创建几乎不可能的输入(在较暗色块中间为亮橙色的像素)，并使用这些输入增加不确定性或更改模型的决策。当我们想到许多不同类型的模型中的对抗性示例时，诸如输入清理之类的诸如输入之前的特征压缩或其他降维等方法可能是最实用，可扩展的方法。
就是说，我在GOTO所说的只是处理对抗性图像或示例之外的一两个步骤，因为我认为我们在机器学习中的主要关注点不是对抗性示例-而是隐私和数据安全性问题。从机器学习模型中提取信息相对容易，并且我们正在将更多模型部署到生产系统中，在这些系统中，它们接触外部互联网并向潜在的对手开放。当我们使用个人或敏感数据训练模型，然后将其API向其他人开放时，我会将其与将您的数据库打开到互联网进行比较。我们需要开始考虑将模型和我们放入模型中的训练数据视为潜在的安全漏洞。关于这些提取方法已经进行了积极的研究，利用置信度信息的模型反转攻击和基本对策)以及Reza Shokri教授关于成员推断攻击的获奖论文，该论文展示了如何以高精度确定数据点是否是训练数据集的一部分。保护送入机器学习模型的数据是我的公司KIProtect致力于的工作之一-即，我们如何使数据科学和机器学习的安全性和隐私性变得更容易。
当我们将私有或敏感数据放入机器学习模型时，我们正在要求模型学习其中的一些数据，并将其用于以后的决策。这些数据的元素实际上将存储在模型中-意味着可以像从嵌入文档中那样提取这些元素。攻击者可以利用这种信息暴露来学习训练数据或模型决策过程-将私有数据或敏感逻辑暴露给可以访问模型或模型API的任何人。因此，作为个人，这意味着如果将我的个人信息或数据用于创建模型，尤其是保留较大信息(例如某些神经网络)的模型，则可以使用该模型来提取关于我的信息。模型已创建。
由于越来越多的公司正在使用机器学习和MLaaS，因此我认为，作为消费者，我们应该担心拥有个人数据或关于我们的数据以及我们的行为在公开可用的模型中的潜在隐私和安全风险。作为机器学习的从业者，我们需要越来越关注模型的基本安全措施，并确定模型中已经暴露了多少敏感信息。如果将这些因素纳入我们的评估标准，我们有望在模型成功与隐私问题之间找到一个很好的平衡。在KIProtect，我们已经使用ML模型评估了我们的假名化过程，对于在受保护的数据上训练的机器学习模型，其准确性仅下降了很小的一部分(1-2%);所以我们认为这不仅是可能的。