最近，微软开源了Counterfit，这是一种AI安全风险评估工具，旨在帮助开发人员测试AI和机器学习系统的安全性。该公司表示，Counterfit可以使组织进行评估，以确保其业务中使用的算法可靠且值得信赖。
当前，人工智能技术正越来越多地用于受监管的行业，例如医疗保健，金融和国防。但是，组织在采用风险缓解策略方面滞后。微软的一项调查发现，一些公司用户表示他们没有足够的资源来确保其AI系统的稳定性和安全性。微软表示，Counterfit源于公司评估AI系统中是否存在漏洞的需求，目的是主动保护AI服务。 该工具最初是为目标AI模型专门编写的攻击脚本的集合，然后演变为自动化产品，以对多个系统进行大规模基准测试。
在底部，Counterfit是一个命令行实用程序，为对抗性框架和可用于逃避和窃取模型的预加载算法提供了一层。 Counterfit旨在为安全社区提供对已发布攻击的访问权限，同时提供一个接口，通过该接口可以构造，管理和发起模型攻击。
使用Counterfit在AI系统上进行渗透测试时，安全团队可以选择默认设置，设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用Counterfit的内置自动化功能进行扫描，并且可以选择多次扫描以创建运营基准。
Counterfit还提供日志记录以记录对目标模型的攻击。正如微软指出的那样，遥测技术可能会促使工程团队提高对系统故障模式的了解。
在内部，Microsoft使用Counterfit作为其AI红色团队运营的一部分，并在AI开发阶段期间将漏洞投入生产。 该公司还表示，已与众多客户进行了Counterfit的测试，其中包括航空航天巨头空中客车(Airbus)，该公司正在开发基于Azure AI服务的AI平台。
“人工智能在工业中的使用正在增加。”空中客车公司高级网络安全研究员Matilda Rhode在一份声明中说：“确保这项技术的安全至关重要，尤其是要了解在问题空间中可以实现特征空间攻击的位置。”
基本上，公司希望人们相信AI没有被操纵和安全。1月发布的Gartner的“管理AI风险的5个优先事项”框架中的一项建议是，组织“针对攻击性攻击采取特定的AI安全措施，以确保抵抗力和应变能力。”这家研究公司估计，到2024年，实施专门的AI风险管理控制的组织将避免产生负面AI结果的频率是不消除负面结果的两倍。“根据Gartner的报告，到2022年，将有30%的AI网络攻击将使用训练数据对基于机器学习的系统进行毒害，建模盗窃或对抗性样本攻击