当今的AI系统似乎就像是智力强国，能够在各种各样的任务上击败人类同行。但是，实际上，当今最先进的AI代理的智力能力是有限的。以AlphaGo为例。尽管它可能是棋盘游戏Go的世界冠军，但这实际上是系统擅长的唯一任务。
当然，还有AlphaZero。该算法掌握了许多不同的游戏，从日本和美国的国际象棋到Go。因此，它比许多当代的AI代理更具能力和活力。但是，AlphaZero无法轻松将其智能应用于任何问题。它不能像人类一样不受限制地从一项任务转移到另一项任务。
可以对所有其他当前的AI系统说同样的话-它们的认知能力是有限的，并且不会超出其创建任务的范围。这就是为什么人工智能(AGI)是许多研究人员的长期目标的原因。
AGI系统被广泛认为是AI研究的“圣杯”，它是具有广泛问题解决能力的人工智能代理，可帮助他们解决设计阶段未曾考虑过的挑战。与专注于一种特定技能的传统AI系统不同，AGI系统将能够有效地解决他们遇到的任何问题，从而完成各种各样的任务。
如果该技术得以实现，它将以无数种方式使人类受益。斯坦福大学的经济学家马歇尔·伯克(Marshall Burke)预测，AGI系统最终将能够建立大规模的协调机制，以帮助缓解(甚至消除)我们最紧迫的问题，例如饥饿和贫困。但是，在社会获得这些AGI系统的好处之前，DeepMind的AGI安全研究员Ramana Kumar指出，人工智能设计师最终将需要解决自我完善的问题。
自我完善符合AGI
当前的AI系统中已经存在早期自我完善的形式。Kumar解释说：“在正常的机器学习过程中会发生一种自我提升。”“也就是说，该系统提高了在训练过程中很好地执行一项任务或一组任务的能力。”
但是，Kumar断言，他会将这种形式的机器学习与真正的自我完善区分开来，因为该系统无法从根本上将其自身的设计更改为新的东西。为了实现重大改进(包括新技能，新工具或创建更高级的AI代理)，当前的AI系统需要人为他们提供新的代码和新的训练算法等。
然而，从理论上讲，创建一个能够真正自我完善的AI系统是可行的，Kumar指出，这种自我完善的机器是通向AGI的更可行途径之一。
研究人员认为，自我完善的机器最终可能会导致AGI，因为这一过程被称为“递归自我完善”。基本思想是，随着AI系统继续使用递归自我完善来提高自身智能程度，它会变得越来越好，在使自己更聪明。这将迅速导致其情报呈指数级增长，并最终导致AGI。
库玛说，这种情况是完全合理的，并解释说：“要使这种方法可行，我们需要几个几乎没有争议的假设：理论上存在这样的高能代理，可以通过一系列局部改进来找到它们。”从这个意义上说，递归自我完善是许多理论的核心，这些理论涉及如何从当今的中度智能机器转变为超智能AGI。但是，库玛(Kumar)澄清说，这不是通往AI超智能的唯一潜在途径。
人类可以发现如何通过各种方法来构建功能强大的AGI系统。这可能“通过扩大现有的机器学习方法来实现，例如使用更快的硬件。或者可以通过在表示学习，转移学习，基于模型的强化学习或其他方向上进行增量研究来实现。例如，我们可能会在大脑扫描和仿真方面取得足够的进步，以复制和加速特定人的智力。”