大家好，欢迎来到AI Alignment播客。我是卢卡斯·佩里。今天，我们正在与Jan Leike交谈。Jan Leike是DeepMind的高级研究科学家，他的研究旨在帮助使机器学习变得强大而有益。他致力于增强学习代理的安全性和一致性。可以将他当前的研究理解为以下问题的动机：我们如何设计竞争性和可扩展的机器学习算法，这些算法在没有奖励功能的情况下做出顺序决策?如果这个播客对您来说有趣或有价值，请考虑在您喜欢的收听平台上关注我们，并给我们留下很好的评价。
这次对话涵盖了Jan的博士学位和从理论研究到经验AI研究的转变，为何发生这种转变以及他对经验AI安全研究的重要性的看法，我们讨论了DeepMind如何处理有益的AI和AI安全项目。我们将讨论当今的AI整合前景以及Jan最激动的方法。我们进入Jan的递归奖励建模研究的主要领域，并讨论DeepMind上的AI安全基准测试工作以及AI对齐/ AI安全社区与主流AI和机器学习社区之间的知识和文化差异。作为友好的通知，播客后半段的传入音频存在一些音频问题。我们竭尽所能清理这些声音，我觉得最终的音频很容易听。我还要感谢Richard Ngo，Vishal Maini和Richard Mallah在开发和完善此播客问题时所提供的帮助。因此，让我们开始与Jan Leike进行对话。
您为什么不先带领我们完成AI领域的旅程呢?您最初是如何对数学和计算机科学感兴趣的?告诉我一些关于你读博士的时间。是什么引起了您的好奇心，为什么要追求自己的追求?
Jan Leike：我在2012年左右对AGI和AGI安全产生了兴趣。我一次攻读硕士学位，并且试图思考我应该为自己的职业做什么。我正在网上阅读很多东西。这就是我进入整个领域的方式。我当时的背景是数学和计算机科学，但我并不是真正从事AI方面的工作。我正在从事软件验证方面的工作。然后，我遇到了Marcus Hutter的AIXI模型，该模型基本上是AGI外观的正式数学模型。它是高度理想化的。它实际上不是可以运行的东西，但是您可以考虑一下，并且可以实际证明它。我对此感到非常兴奋。我认为这是一个很好的起点，因为您还记得那是在2012年整个深度学习革命发生之前，因此，目前尚不清楚我们实际上可以对AGI采用哪种方法。我的博士学位的目的是从高级理论角度来理解AGI。
卢卡斯·佩里(Lucas Perry)：与马库斯·哈特(Marcus Hutter)一起攻读AIXI或“ A”，“ I”，“ X”，“ I”。
Jan Leike：因此，我的论文最终只是一些理论上的结果，其中一些实际上是这种理想化的代理人AIXI在任何客观意义上都不是最优的。在某种程度上，这全都取决于用于定义它的通用图灵机。但是，AIXI上有一些具有客观属性的变体，例如渐近收敛到最优策略。此变体基本上是基于Thompson采样的变体，但这是一个完全通用的强化学习设置。所以这是部分可观察到的，而且您没有剧集。就像一切都是一集。因此，这并不是一个可以给出任何示例复杂度界限的设置。渐近收敛是您所能做的。随之而来的另一件事是我们所说的“解决粮食问题的正式解决方案。
这里的想法是AIXI形式模型的问题之一是它假设其环境是可计算的，但其本身是不可争议的。您不能真正使用它进行多主体分析。因此，我们所做的就是提出一种形式主义，就像AIXI的变体一样，如果我们将代理或环境与其他类似AIXI的代理一起嵌入，则可以属于自己的环境类。然后，当他们这样做时，他们仍然可以渐近学习正确预测代理将执行的操作，然后渐近收敛到Nash平衡。