【WRC 大咖观点】Joseph Sifakis《自主系统——迈向通用人工智能的一大步》

编者按：

2022世界机器人大会主论坛群星璀璨，产、学、研各领域大咖齐聚首，共话巅峰，为机器人未来发展领航。

峰会现场，Joseph Sifakis发表了题为《自主系统——迈向通用人工智能的一大步》的演讲。以下为Joseph Sifakis演讲内容的整理。

我是约瑟夫·希发基思教授，2007年“图灵奖”获得者。今天很高兴能在2022年世界机器人大会上发表演讲。我的演讲题目是：自主系统——迈向通用人工智能的一大步。

首先，对于什么是智能，大家有很多困惑，也不知道智能是如何实现的，而媒体和大型科技公司加大了这种困惑。他们传播一些观点，认为人类级别的人工智能几年后就能实现。我们也知道有关于“超级智能”的神话。当然也有些人相信机器智能，及其发展足以应对智能挑战。

我当然不同意这些观点。我认为，开发自主系统是向通用人工智能迈出的一大步，我们离通用人工智能还有很长的路要走。但我们只有各种要素和构件，我们还缺乏理论——如何建立复杂智能系统的理论。我认为，开发自主系统是向通用人工智能迈出的一大步。这也可以推动物联网的发展，代替人类在复杂组织的工作。在这次演讲中，我将解释为什么建立可信的自主系统是迈向通用人工智能的一大步。不过，这需要计算和人工智能之间的融合，并将数据技术和基于模型的系统工程集成起来。这是我这次演讲的提纲，分为两大部分。首先，我想比较一下人类和机器的智能；然后，我将讨论自主系统。

人机智能比较的理论可以追溯到艾伦·图灵。他提出了由他组织的著名的试验，即我在这里展示的：一个房间里有一台电脑A，而另一个房间里有一个人B 试验者C负责发送书面问题，给A和B 并比较对应的答案。图灵认为，如果C不能分辨，哪一个是电脑的答案，哪一个是人类的答案，那就说明A和B同样聪明。我提及这个测试是因为经常有人声称系统成功通过了图灵测试，而这被认为是证明智能的标志。但我认为这些论点缺乏技术支撑。为什么呢？因为图灵测试只能比较人类智能和机器智能，而测试是否成功还取决于人类判断。人类判断是主观的，而且对于测试案例的选择也可能是有偏差的。因此人类给出的问题，可能有利于人类，也可能有利于机器。对图灵测试持反对意见的另一个争论——即它不可能是比较人类和机器智能的最佳测试，智能不可能仅仅是简单的问答游戏。许多机器智能是通过交互来表达的，还有人类言语和动作以及展示的社交行为。这不能用图灵测试来描述。所以在我发表的一些论文中，我提出所谓的替换测试。这种理论是说，如果有一个人在系统中执行一项任务，机器也和人一样智能。当人被机器取代后，并不影响我们的行为系统。那么我会说，机器和人类驾驶员一样聪明。如果它能成功替代人类驾驶员，对于这种测试，我们应该有技术标准来判断。如果我们采用这种测试方法，则意味着为了建立智能系统仅有计算智能是不够的，我们还必须有感觉运动功能。例如，对于机器人来说这个挑战完全是智能问题，另一种比较人类智能和机器智能的方法是考虑，机器和人类可以开发和应用的知识。

我们知道人类头脑有两种思维方式，快思维是无意识、自动的、无需费力。因此，我们用这种思维方式来处理隐性的经验知识。例如，我们说话、走路、演奏一种乐器时，我们的大脑解决通过快思维来解决问题。快思维的计算非常复杂，但我们不知道它是如何发挥作用的。而另一种思维系统——慢思维。它是有意识的、受控的、需要费力的。它是所有需要推理知识的来源。例如，数学、科学和技术知识。这两种思维系统和两种计算机之间有一个非常有趣的类比。传统的计算机由程序员进行编程，他们用第二种思维系统（慢思维）编写算法。当然，算法是基于模型的知识。它们要确定下来，能被理解，以及能够得到验证。相反，神经网络只是回路，它们通过训练生成某种知识。它们可以学习如何区分狗和猫，就像孩子一样。但我们无法理解这个系统是如何运作的。因此，问题在于我们能否相信这种信息。在下一张幻灯片中，我展示了不同类型的知识。这些知识为系统和人类所使用，我觉得这个分类表明知识有不同程度的效度、可信度以及普遍性。在蓝色区域，没有经验知识，也就是没有我们对外部世界了解的知识；而下面是经验知识，简单的经验知识就是事件和状况，例如，今天的气温是30摄氏度这样的信息。然后就有了系统1（快思维）的知识，或者带分析知识的机器学习知识。这种知识可以用来做预测。不过就像我说的，这种知识无法解释，这种知识和我们用于开发人工智能的科学技术知识之间有很大的差异。因此，科学技术是经验知识，因为它们是观察物理世界的结果，不过它也能通过数学模型来证实、解释。要知道，当牛顿建立他的理论时，他还建立了微分学来阐释他的理论。

最后，在这一页中，我将解释科学知识与机器学习生成的知识之间一个非常重要的差异。我在考虑物理学中的一个实验。在一个经典实验中，伽利略观察到，力和加速度之间的比例关系 并表述为F=ma，力和加速度之间的比例关系，并表述为F=ma。当我们尝试训练神经网络来区分猫和狗时，我们应用的是一个单一过程，所以有这样一个实验步骤。我们首先向一个观察者展示猫和狗的图像，然后观察者对图像进行标记，并基于标记训练神经网络，完全由神经网络完成这项工作。但问题是，我们无法确定神经网络的输入—输出关系，而这是关于可解释性的一个非常重要的问题。今天我们将谈论很多关于可解释性的问题——这是为什么呢？因为我们希望确保我们可以理解，这些系统产生的知识可以如何使用，我们又在多大程度上可以相信这些知识。

最后，关于人类智能和机器智能的比较还有一个重要的区别，那就是人类头脑运用常识性知识。比如这个例子，自动驾驶仪把月亮误认为是黄色交通信号灯，这是可能发生的。我们有很多关于误解的例子，对图像或神经网络的误解，但这不会发生在人类身上。特别是在这种情况下。人类知道交通信号灯不可能出现在天上，因为人类头脑会考虑感观信息，这就是运用常识性知识。这些知识的建立方式我们并不真正了解，属于我们生活中的部分内在机制用来解释感观信息和自然语言。还有，我想强调的是，人类认识可以结合自下而上的推理和自上而下的推理，而这是机器至今无法实现的重要一步。另外一个例子，如果我给你看这个图标，你会说这个是停车标志。就是因为你本来知道这是一个停车标志，你只是看到它被积雪部分遮盖了。因此你会把这种感观信息与停车标志的模型联系起来。对于神经网络来说 要达到同样的结果。它们应该接受所有天气状况下的训练。再举一个例子，如果我考虑这一序列的图像时，人类能马上凭借常识性知识得出结论。这是发生了飞机事故。相反，如果是机器的话，虽然它或许能分析出每一个机器框架，识别出物体。但它无法将具体的物体之间相联系，并且找出它们之间的因果关系。所以，它就无法与世界上的某些语义模型相提并论。总结一下，要让机器拥有和人类一样的环境感知，它们必须能够逐步建立关于周边环境的知识，尤其是把学习、推理具体的感观信息和符号知识相结合。而我认为，这是当今人工智能面临的主要问题。这是一个很难解决的问题，我们在未来很长一段时间都无法解决它。

现在，我想谈谈自主系统。当然，我想强调的是自主系统包含机器人系统。所以，自主智能体的功能是什么？因为自主系统是由多个自主智能体构成的，这里我想到的是自动驾驶仪的例子。自动驾驶仪主要是一个与环境交互的被动反应系统。你可以想象得到内部环境和外部环境的区分很重要，此外，它是如何工作的，如何接收传感信息也很重要。所以对于态势感知，我们需要把感知的两种功能结合起来。所以这边可以看到一些框架，然后分析框架，找到汽车周围的所有障碍物，再反思。所以反思是个非常重要的功能。人类是基于感知信息来推理、建立模型、生成外部环境的符号信息和模型，然后基于这个模型，你可以做出决策。这些是我们现在非常了解的方面，我们必须管理好目标，看看哪些目标是适用的。对于汽车来说，这是一个很难的问题。你有很多不同的目标，为了实现每一个目标，你都必须制定计划。所以这些计划将产生一系列的命令，来控制调节系统。对于未来的自主系统来说，非常重要的另外一点是 ——知识的利用。这是系统的主动响应部分。在这里你可以看到，它们使用了一个知识库。所以在这里你可以有一个预先记录的知识，而这种自我学习的功能也非常重要。所以这个概念是为了增强可预测性，并加强决策。它的实现方法是利用和生成知识。但很遗憾，我没有时间来解释这个过程了。这只是一个愿景，我还没有看到这些想法付诸实施。尽管五年前我就提出这些想法了。

在解释完自主系统前，我想说的是与欧洲智能系统不同的是，它们是关键的实时分布式自组织系统。从系统工程的角度来看，这些都是硬件系统。所以我想就此说几句，我们知道如何建立关键系统，那简单得就像过去使用的，安全飞行控制器。但是对于这些相同的系统，它们的设计方法是精心界定的。这里我展示了著名的V形模型，这个模型展示了设计实施过程的组成部分。重要的是要知道这个过程主要基于这些数学模型，你必须，解释作为开发人员所做出的决定，并且基于这些数学模型，你可以提供一些确凿的证据，证明这个系统是安全的。例如，对于飞行控制器，你需要证明每小时的飞行故障率不超过10⁻⁹，然后这才能足以让你获得认证。很明显，基于模型的产品不适用于自主系统，这也解释了行业采纳端到端机器学习技术的理由。那么现在的情况如何？一方面，我们有传统的方法，基于模型的方法，我们可以建立一个精心设计的系统。不过这还不够。另一方面，一些大型技术公司已经为某些驾驶系统开发了平台。这些平台使用经过训练的巨大神经网络，例如，它们会形成框架、形成转向角、加速和减速的信号，最后建成可用的系统。但首先存在一个可信度的问题，其次，你必须能整合它们并证明整个系统在机电系统中的可靠程度。对于这类平台，我们没有理论基础。我相信未来我们应该试着开发和重新设计这些技术，从而吸取每个方法中的精华。在相同的设计流程中，把基于模型和基于数据的组件整合在一起，尤其是要让某些基于模型的组件做出决策，在这方面我们已有很好的算法。关于基于数据的感知、优化，当然，还有部署的问题。但对于这种类型的系统，这种分析仍会完全开放。但我认为，这是一个可以发展的方向。

作为结语，我想说，为了实现自主系统的愿景，我们需要建立一个新的工程基础。还有，这种设计当然不能完全基于模型，原因我已经解释过了。而且，同样重要的是我们需要摈弃这种观念，即我们建立一个系统，一旦证明它是正确的，我们就不会变动，这种观念是不行的。因为对于很多结果来说，我认为设计阶段不可能实现系统的正确性。有一个重要的趋势，就是系统的更新，对软件而言也很关键。另一个想法是我们将能够设置一些监视器，应用运行时间保障技术，这样系统能在它的生命周期内不断演进。我看到两个重要的工作方向，一个是我已经讨论过的混合设计方法，另一个是我们需要一些验证全局系统的理论。比如，如果我想验证自动驾驶汽车系统，不可能去生产样车。所以，模拟和测试是唯一的途径。你可能在新闻里看到，有人宣称我们的自动驾驶系统已经足够安全。因为我们已经开过，模拟过这种系统数十亿英里。我认为这些论点是站不住脚的，在技术上也是不合理的。因为，它们没有解释模拟的大脑和真正人脑之间的联系。为此，我们需要一些理论，一些覆盖标准可以用来预测的理论。例如在软件测试这方面，这是在整个自主系统工程中非常重要的东西，我们将逐步转向更多实证技术。所以也许我们的理论和方法应源自于科学知识验证的发展过程。因为在科学中，我们建立世界，然后试着去验证关于世界的一些假设，这方面我们更像物理科学。总而言之，我们现在离自动化自主系统的建立仍有很大差距。这个过渡阶段不会像我们多年前认为的那样快速。在某些情况下，自主性当然也是可以实现的。如果我们能简化态势感知问题，例如，自动驾驶汽车可以达到4级自主化，但要达到完全自主化，我们必须开发一种新的科学范式。一个新的科学基础，这会需要一些时间。

我的演讲到此结束，感谢你们的倾听！非常感谢！

——Joseph Sifakis