机器学习(ML)算法已经可以比他们正在研究的人类更好地识别模式。这使他们能够在各种高风险情况下生成预测并做出决策。例如，电工使用IBM Watson的预测能力来预测客户的需求。Uber的自动驾驶系统决定了最快的路线将乘客带到目的地。和Insilico医学利用其药物发现引擎，以确定新的药品的途径。
随着数据驱动学习系统的不断发展，根据技术改进来定义“成功”将很容易，例如增加数据算法可合成的数量，从而提高其模式识别的效率。但是，要使机器学习系统真正成功，他们需要了解人的价值观。更重要的是，他们需要能够权衡我们相互竞争的愿望和要求，了解我们最重视的结果，并采取相应的行动。
了解价值
为了突出该种道德决策，我们的ML系统已经与百家争鸣凯伊Sotala，在芬兰的研究人员对工作的基础性研究院，轮流流量分析和自动驾驶汽车。是否应该使用收费公路，以将通勤时间缩短五分钟，还是为了节省成本，走更长的路线会更好吗?
回答这个问题并不像看起来那样容易。
例如，如果A人节省了五分钟的时间，则宁可选择收费5美元的收费公路，但如果费用为10美元，他们可能不愿意采用收费公路。另一方面，人B可能总是更愿意选择最短的路线而不考虑价格，因为他们比其他任何人都更重视时间。
在这种情况下，Sotala指出，我们最终要求ML系统确定人类更看重的是时间或金钱。因此，关于快速走哪条路的简单问题似乎变成了对竞争价值的复杂分析。有人可能会想，'行车路线就是效率。我将让AI系统告诉我最佳的实现方式。”但是另一个人可能会觉得采用不同的方法具有一定的价值，”他说。
确实，机器学习系统必须权衡我们的价值并在所有决策中进行权衡，但Sotala指出，在当前关头这不是问题。系统要处理的任务非常简单，因此研究人员可以手动输入必要的价值信息。但是，随着AI代理人的复杂性增加，Sotala解释说，他们将需要能够自行考虑并权衡我们的价值。
了解基于实用程序的代理
当涉及到整合价值时，Sotala指出问题在于智能代理如何做出决策。例如，恒温器是一种反射剂。它知道由于设定的预定温度而何时开始加热房屋—温控器在温度降至特定温度以下时会打开加热系统，在温度高于特定温度时会关闭加热系统。另一方面，基于目标的代理基于达成特定目标做出决策。例如，目标是购买购物清单中所有物品的代理商将继续搜索，直到找到所有物品。
基于实用程序的代理程序比基于目标的代理程序高出一步。他们可以进行以下权衡取舍：今天，买牛奶比买新鞋更重要。但是，我比杂货店离鞋店更近，两家商店都将关门。在每个决策点上，基于目标的特工都会看到许多必须选择的选项。每个选项都与特定的“效用”或奖励相关。为了实现他们的目标，代理商遵循将最大化总奖励的决策路径。
从技术角度来看，基于实用程序的代理程序依靠“实用程序功能”来做出决策。这些是系统用于合成数据，平衡变量和最大化回报的公式。最终，获得最大回报的决策路径是系统被教导选择以完成其任务的路径。
尽管这些实用程序擅长于发现模式并响应报酬，但Sotala断言，当前基于实用程序的代理具有固定的优先级。结果，当涉及未来的AGI系统时，这些方法是不够的，因为它们会自动运行，因此需要对人类的价值观何时发生变化和变化有更深入的了解。
例如，一个人可能总是喜欢走更长的路线来避开高速公路并省钱，但是如果他们心脏病发作并试图去急诊室则不然。当我们的时间和金钱价值发生变化时，人工智能代理商应该如何预期和理解?这个问题更加复杂，因为正如索塔拉(Sotala)所指出的那样，人类常常独立于事物而对其价值进行评估，而不论它们是否具有持续的，切实的回报。有时，人类甚至珍视在某些方面可能造成伤害的事物。考虑一个重视隐私的成年人，但他的医生或治疗师可能需要访问亲密且深入的个人信息，这些信息可能会挽救生命。AI代理是否应透露私人信息?
最终，Sotala解释说，基于实用程序的代理程序太简单了，并且没有深入到人类行为的根源。“效用函数描述的是行为，而不是行为的原因……。假设我们已经大致了解该人所选择的内容，它们更多地是描述性模型。”尽管描述性模型可能会认识到乘客更喜欢省钱，但他们不理解原因，因此它将无法预期或确定其他值何时会超过“省钱”。