天天看点

神经元新计算模型或产生更强大AI

作者:多姿生活控

导语

近年来人工智能(AI)技术正在呈现出愈发蓬勃的发展势头,同时也在许多领域中发挥重要作用,然而这些支持AI工具的神经元网络大多基于20世纪60年代的神经元计算模型,正是通过大量简化的计算模型,为今天的人工智能系统开发铺平了道路。

但美国西蒙斯基金会熨斗研究所计算神经科学中心(CCN)开发的新模型表明,这些近似模型并未完全捕捉到真实神经元的计算能力。

美国西蒙斯基金会熨斗研究所的研究人员表示,尽管他们提出的这些新模型的确更为复杂,但他们的新发现也为我们认识更多关于神经元是如何完成计算和处理信息的认知功能提供了新途径,这项研究结果也发表在《美国国家科学院院刊》上。

神经元新计算模型或产生更强大AI

老的模型很有可能会成为人工智能的障碍,那么新的神经元计算模型又在哪方面对于老模型进行了改进,可能会让AI系统变得更加强大呢?

老的模型。

老的模型的数学方程形式中只有一个自由参数,这也意味着无论是神经元的构造形式还是工作原理都只被大量削弱了,然而这也确实是当时的一个必要抉择,它是研究人员为了得到可以进行更进一步模拟,以帮助科学家们对当时的大脑进化与发展的认知而作出的抉择。

同时这也在当今成为了一个负担,这类活体神经元可以实现非常复杂的计算,而计算过程中大量的细节不是可以用简化为单位模块相加的这种方式来进行计算,而是每个下一层神经元上的电信号作为输入参与到神经元的计算中,也就是说神经元之间的电子信号之间的关系是错综复杂的,但是老的模型中这种复杂的关系都被简化成了线性关系,这使得新的模型更加接近活体神经元的计算方式。

老的模型的数学公式为: S = g(w^Tx-b),这个数学公式表示如果输入信号x与权值w的线性组合减去阈值b大于0,那么神经元的输出S就是激活的,否则就是不激活的。

一个叫做Gabor的研究人员认为这里面的w并不是一个参数,因为w是用来对输入单元的激活水平进行加权的。

神经元新计算模型或产生更强大AI

在后来老模型的进一步研究中发现,w和x的点积是输入单元的激活程度,而b是用来调节当前神经元的激活水平的一个参数,那么w与x的点积再减去b的结果与模型中的输出S是一样的。

所以这里面并没有一个叫做w的参数,而是x和b的点积减去b的值与输入激活程度x和阈值b的关系直观上有一些偏向,虽然老模型中的参数w是有着一定的实体意义的,但是它并不能像x和b那样直接对应输入信号的激活程度和阈值,所以在新的模型中,研究人员认为两个参数应该拆开来,一个参数是用来代表输入信号的激活程度x,另外一个参数用来代表阈值b,这样更符合老模型的原意。

而新的模型的数学公式为: S=g(x-b),可以发现在新模型中x和b是真正意义上可以理解的,x表示输入神经元的激活程度,b则表示当前神经元的阈值,所以新模型比老模型可以更精确的表示输入信号和阈值之间的关系。

新模型为何更好

老模型中研究人员认为w并不是一个参数,这在直观上看是没有错的,但现实中w和x的点积也不是一个真正的参数,而是x的一个重要指标,w只能作为这个指标的一个系数来进行计算,而不是一个真正拥有意义的参数,所以实际上w这个系数并不能真正的体现神经元的激活程度。

所以研究人员认为w不是一个参数是错误的,实际上w是一个参数,但是它没有体现出来,而新的模型中,研究人员将x和w拆开,分别表示输入神经元的激活程度和它们之间的系数,这样就更加符合老模型的实际意义。

神经元新计算模型或产生更强大AI

同时虽然老模型中的参数w不是一个真正意义上的参数,但是他们之间的点积可以用来作为输入激活程度的一个指标,但是在新的模型中,这个指标和x是重复的,所以两个参数可以合并成一个参数。

这样会让模型看起来更简洁,但是为了使模型新老模型是更加一一对应,没有改动的参数的情况下,两者之间是转化关系,这两个参数是不能合并的。

另一个新老模型之间不能合并的参数是阈值b,但是实际上这个参数在老模型中也是一个系数,并不能体现出数学公式中b的准确意义,所以新老模型之间是完全对应的,相互转化的。

可以说实际上老的模型更加贴合实际,但是在数学上却不是这样,所以新老模型中表现出来的神经元计算功能实际上是一样的,只不过在数学公式上有一些变化,但是实际上新的模型更加复杂,更能够完全表达出这种计算功能型,所以新模型将会被更多的应用到AI系统中。

结语

新老模型表达出来的神经元计算功能是一样的,只不过新的模型比较新,从新的模型中能够更加深刻的了解神经元之间的相互作用,更能够发现其中的奥秘,从而制作出更加强大的AI系统。

同时从新老模型中获得的启示可以帮助我们更好的认识大脑的工作模式,更能够发现大脑深处隐藏的功能,从而为实现更强大的AI系统指明方向。

继续阅读