失控-读书笔记(二)蜂群思维

读到第二章,就已经看出这本书的厉害之处了。作为一个深度学习研究者,看到这本上世纪八十年代的作品,不禁感叹,当今人工智能的许多理念甚至细节都已经在这本书中出现… 此处溢美之词省略一万字(笑)。

回想本世纪的技术进步:互联网、大数据、云计算、人工智能、去中心化(这里不说BTC,博主对BTC持保留态度)、MapReduce等等,这些都和一个词有关:分布式。这也就是这本书第二章节的核心内容。

博主将在自己的知识领域内,从深度学习、互联网、分布式系统、去中心化的角度来对“蜂群思维”进行描述。

集群涌现

比如一只蜜蜂的大脑只有六天的记忆,而作为整体的蜂巢所拥有的记忆时间是三个月。

我们常常说到分布式系统、分布式管理、分布式计算这些概念,说简单点儿,就是两个事情:(1)分散(2)并行。承担任务的是许多相似的个体,其中每个个体执行单一但又有差异的工作,没有一个特别的控制者。

随着集群的规模越来越大,群体复杂程度越来越高,最终量变引起质变,集群这个整体推演出了低层级无法推断出的高层级复杂性。

用现在深度学习的理论来说,CNN将一个个普通的神经元连接起来,规模越大的网络,越能处理复杂的任务。越来越复杂,越来越“智能”,或许某一天机器能像生命一样,此刻便是量变引起了质变。

切合第一章的理念(生命与机器的联姻),我们每将机器向集群推进一步,都是将它们向生命推进一步。现在的人工智能虽然远未到达真正类似于人的“智能”,但是它们将越来越像“智能”,可以推演的是,终有一天,量变会引起质变,机器失去它所具有的冰冷,却有用极佳的快速核效率,真正的人工智能将诞生,并且这一天不会遥远。

分散的记忆

再次站在深度学习的立场,记忆与感知二者之间,是相互统一的。书中分析了人的记忆,是离散的,碎片化的。

在一个稀疏分布式网络中,记忆是感知的一种。回忆行为和感知行为都是在一个非常巨大的模式可选集中探查所需要的模式。我们在会议的时候,实际上是重现了原来的感知行为,也就是说,我们按照原来感知这种模式的过程,重新定位了该模式。

网络是稀疏的,正如人工神经网络一样,稀疏网络速度更快,泛化能力更好,可以有效对抗过拟合。

所谓记忆的过程,就是人工神经网络训练的过程,取出记忆的过程,就是人工神经网络的前向传播。这种记忆方式在效果上像是人类的记忆一样,不需要庞大的记忆容量,通过并行方式进行计算,记忆与数据处理之间的差异消失了。记忆成为了感知的在线,与最初的认知行为没有区别。

集群的利弊

分布式系统的四个突出特点:

  • 没有强制的中心控制。
  • 次级单位具有自治的特质。
  • 次级单位之间彼此高度连接。
  • 点对点间的影响通过网络形成了非线性因果关系。

群系统的好处,我就挑一些来简单说下:

  • 适应性。
  • 可进化。
  • 弹性。网络是冗余的,其中某些单元出了问题,对整体构成的影响有限。
  • 无限性。
  • 新颖性。不同的初始化条件,不同的单元类型,不同的组合连接方式都会构成全新的网络,所以是新颖的。

群系统的明显缺陷:

  • 非最优。因为冗余嘛,没有中央控制,所以是低效的(大部分时间,大部分单元都没有工作)。
  • 不可控。因为没有一个绝对的权威。
  • 不可预测。因为复杂。
  • 不可知。还是因为复杂,因果关系不确定。
  • 非即刻。有机的复杂性需要有机的时间。

网络

首先说明,这里的网络是一个广义的概念:网络拓扑结构组织起的分布式系统。是一个广义概念,包括了现在的互联网、去中心化、人工神经网络、分布式计算等等。

如果说原子是20世纪的图标,那么21世纪的科学象征就是网络。(——作者KK,上个世纪)

原子代表的是简洁明了,而网络传送的是由复杂性而生的凌乱之力。(好吧,我是不是又接触了一门玄学)

网络是低效的,因为有许多来来回回和许多冗余,但是网络包容着瑕疵而非剔除它。网络不断孕育着小的故障,以此来避免大故障的频繁发生。正是其容纳错误而非杜绝错误的能力,使分布式存在成为学习、适应和进化的沃土。

网络也是目前唯一有能力无偏见地发展或无引导地学习的组织形式。所有其他的拓扑结构都会限制可能发生的事物,庞大而多样的网络孕育出了真正包容的多样性。在繁忙的网络中,我们也孕育出了网络文化。

书中还有一些关于网络的介绍,如果你是人工神经网络研究者,你会发现书中动态网络的概念,不就是机器学习中的 RNN(循环神经网络) 或者 RBM(限制玻尔兹曼机)呢。文中关于网络逻辑的讨论和布拉斯悖论,有点儿像现在CNN的稀疏链接还有调参,看原文吧。

OK,See You Next Chapter!

 

发表评论