在本周由民主与技术中心在布鲁塞尔举行的小组讨论中，我讨论了AI驱动的内容审核技术的功能和局限性。其他小组成员包括现任S&P Global的Armineh Nourbakhsh，她讨论了在路透社期间帮助开发的Tracer工具，以及与CDT的EmmaLlansó，讨论了她与他人合着的最新论文《混合消息?自动化社交媒体内容分析的局限性。” 欧盟委员会的Prabhat Agarwal提供了有见地的决策者观点。
平台和其他Internet参与者使用自动化程序对系统上的非法材料(例如仇恨言论或恐怖分子材料)采取行动。他们还使用相同的技术来强制执行自己要求的用户自愿服务条款，以维护稳定和有吸引力的在线环境。最后，存在一种中间类型的内容，它不仅不吸引人，本身并不完全违法，而且是有害的并且需要加以控制。虚假信息活动属于此类。
现在讨论自动删除此材料的原因不仅是技术上的。政策制定者非常关心用于内容审核的系统的有效性，并正在推动平台做更多的事情。有时，这会溢出到法规要求中。
在 最近公布的欧盟法规草案防止在线恐怖内容就是一个很好的例子。许多关注点集中在其提案上，该提案允许成员国的主管国家主管部门要求平台在收到通知的一个小时内删除恐怖分子内容的特定实例。但是，更令人担忧的是，它要求平台必须采取“主动措施”，旨在首先防止恐怖分子的资料出现在系统上。由于主动措施是针对恐怖分子内容的自动阻止系统，因此拟议的法规明确规定了对当前电子商务指令的克减，以规定对恐怖分子内容进行监视的职责。更糟的是，如果一家公司收到太多的拆除订单，并且无法与监管机构就设计改进达成协议。
删除决定必须使用明确的标准，并且这些标准必须透明，以便用户可以对超出范围和可接受的范围形成期望。此外，需要对各个删除决定进行说明，以说明触发删除的内容的特定功能或方面。最后，由于没有一个系统能完美无缺，因此需要一种纠正机制，以便在错误删除材料后可以对其进行恢复。作为模型，请看一下美国信贷行业的做法，该行业具有世代相传的透明，解释和补救措施。
出于EmmaLlansó在其论文中概述的原因，仅依靠自动化系统进行清除是一个错误。错误率太高了，始终需要人工检查，以确保在删除内容之前充分考虑内容的上下文和含义。