微金编译自DeepMind博客等。

量子比特制作|微信官方账号QbitAI

DeepMind在神经科学与人工智能结合的探索上取得了新的进展。

海马体“预测地图”

在所有这些场景中，其实都有一个估算：你的决策在未来能获得多少回报。

这很微妙。你对未来想得越远，可能出现的情况就越多。理解我们在这方面的行为是神经科学研究中的一个重要课题，开发一个可以有效预测未来回报的系统也是人工智能研究中的一个重点。

在《自然神经科学》 (NatureNeuroscience)新发表的论文中，DeepMind将神经科学的知识应用于机器学习中的数学理论，从而为学习和记忆的本质带来了新的见解。

具体来说，DeepMind认为大脑中的一个区域海马体为这个问题提供了一个独特的解决方案。海马体使用一种叫做& quot预测地图& quot由DeepMind高度概括未来事件。

传统上，海马体只反映动物的当前状态，尤其是在迷宫穿梭等空间任务中。这个观点获得了很多支持，因为& quot位置单元格& quot已经在啮齿类动物的海马体中发现：当动物处于特定位置时，这些细胞就会被激活。

(量子注：2014年诺贝尔生理学或医学奖授予拥有美国和英国双重国籍的神经生物学家JohnO'Keefe和挪威的神经生物学家May-BrittMoser和EdvardMoser，以表彰他们在位置细胞和格子细胞方面的神经生理学工作。他们的研究发现了一些位于大脑海马体和嗅觉皮层的特殊神经元，这些神经元对空间位置具有特异性。这些神经元构成了一个精致的定位系统，使人们能够识别自己在空间中的位置，并帮助人们导航。)

虽然这一理论可以解释许多神经生理学的发现，但它不能完全解释为什么海马体还参与其他功能，如记忆、关系推理和决策。

DeepMind的新理论认为，在计算未来最大收益的过程中，心智导航是一个更常见的问题。DeepMind的结论来自人工智能研究的强化学习。这种学习方法侧重于试错系统。

DeepMind的关键思想是，为了估计未来的回报，人工智能代理必须首先估计每个状态下可以预期多少即时回报，然后根据每个状态未来发生的可能性来评估这些回报。通过对所有可能状态的加权回报求和，代理可以得到未来回报的估计值。

同样，DeepMind认为海马代表所有状态，也就是海马预测的未来所有状态。

比如你马上要下班了(也就是现在的状态)，那么海马体就会做出这样的预测：你马上就要走了，去学校接孩子，最后回到你更远的家。

通过判断每个当前状态与预期的后续状态之间的关系，海马体可以对未来事件做出高度概括。这种行为的学名是& quot后续性能& quot。DeepMind认为，这种特殊形式的预测图使大脑能够在回报千变万化的环境中快速适应环境，同时也不需要用很高的计算成本来模拟未来。

这种思想结合了两种算法的优点。这两种算法在强化学习的研究中已经众所周知，它们也被认为存在于人类和啮齿类动物的大脑中。& quot基于模型& quot算法可以学习环境模型，然后通过仿真得到未来收益的估计。& quot无模型& quot算法直接从环境经验中获得未来收益的估计。基于模型的算法灵活，但计算开销大。无模型算法计算开销较小，但不灵活。

DeepMind理论中的算法结合了基于模型算法的灵活性和无模型算法的计算效率。因为计算过程是简单的加权求和，所以计算过程非常高效，类似于无模型算法。同时，通过区分收益期望和状态期望(即预测图)，算法可以在保持状态期望不变的情况下刷新收益期望，从而快速适应收益的变化。

DeepMind计划在未来的工作中进一步测试这一理论。由于预测映射理论可以转化为各种神经网络架构，DeepMind希望探索这种学习策略如何促进灵活快速的规划。

在更普遍的意义上，未来的一项主要任务是研究大脑如何整合不同类型的学习风格。虽然DeepMind用这个模型代替了大脑中基于模型和无模型的学习方法，但更接近现实的是，在学习和规划的过程中，大脑同时展开了各种类型的学习。

了解这些学习算法是如何协同工作的，是理解人类和动物大脑的重要一步，也将指导DeepMind设计复杂和多方面的人工智能。

只有了解大脑，才能开发出更强的AI

按照DeepMind创始人哈萨比斯的说法，答案在于人类，或者说在于人体。他一直认为人工智能需要重新连接神经科学。只有更多地了解自然智能，才能真正理解(并发展)人工智能。

下面这段话摘自7月份对哈萨比斯的采访。

问：你以往曾讨论过，DeepMind最大的目标之一是开发人工智能，促进更多的科学发现，使其成为提高人类创造力的工具。神经科学如何帮助你达到这个目标？

哈萨比斯：其实有两种方式。其中之一就是将神经科学作为算法和架构概念的灵感来源。人脑是开发普通智力可行性的唯一现存证据。所以我们认为，要下功夫，要品味。

这也是我在博士阶段研究神经科学的原因：关注大脑的记忆和想象力，理解大脑中的哪些区域参与其中，存在什么样的机制，随后使用这些知识帮助我们思考，如何在人工智能系统中实现同样的功能。

我们试图理解的另一方面是，智能究竟是什么，这也包括自然智能，人类的智力。因此我认为，可能会出现反向的帮助。利用可以完成有趣任务的人工智能算法，我们可以了解，应该如何看待大脑本身。我们可以使用这些人工智能系统作为模型，了解大脑中正在发生什么。

问：你提到大脑的想象力、预测未来的能力，是改进AI的关键功能。能不能举个例子，说明AI怎么才能拥有这些能力？

哈萨比斯：这些高级的想法目前还在很基础的阶段。先有记忆，然后再有想象。大脑里有不同的存储系统。比方说短期工作记忆，可以用来记住电话号码这种不长的信息。另外还有场景记忆，这是一种长期记忆，甚至你在睡觉的时候都能从中学习经验。

这只是一个想法，不同的记忆存储系统，对AI来说很有价值。传统的神经网络没有太多的记忆，只专注于当时当刻。为了改变这个情况，人类发明了神经图灵机，让神经网络可以连接并使用一个很大的扩展存储器。这是一个神经科学启发的想法。

然后我们来说想象，这是人类和一些动物，对世界的生成模型，这种模型被用来在现实世界行动之前，评估和规划将会发生什么，以及可能产生的后果。

想象力是一个非常强大的规划工具。你需要建立一个世界的模型，然后使用这个模型去预测，还要及时向前推进。所以，当我们开始拆解想象力的构成时，就能获得一些关于构建想象力所需功能的线索。

论文&下载

DeepMind最新发表在《自然神经科学》的这篇论文，去年12月提交，今年8月29日被接受，10月2日正式在线发布。

摘要

海马体的主要功能一直被认为是“认知地图”，即位置细胞对空间几何表示进行了编码。然而，位置细胞中的预测编码、奖励敏感性和策略依赖，表明这里不仅仅解决空间问题。

我们从强化学习的角度来看待这个问题：什么样的空间表示能最大化未来的奖励？我们使用预测表示的形式来给出答案。这种表征捕获了落在传统认知地图之外的许多位置细胞反应。更进一步，我们认为内嗅格点细胞为预测表示进行低维基集编码，用于抑制预测中的噪声并提取分层规划的多尺度结构。

《自然神经科学》的订阅用户，可以前往下面这个网址查看论文：

http://www.nature.com/neuro/journal/vaop/ncurrent/full/nn.4650.html?foxtrotcallback=true

另外，在量子位微信公众号（QbitAI）对话界面，回复“海马体”三个字。就能下载查看这篇论文。

—完—

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位QbitAI

վ'ᴗ'ի追踪AI技术和产品新动态