目前,对不同架构深度神经网络的研究日益普及:卷积神经网络、循环神经网络、自动编码神经网络。包括微软和谷歌在内的一些列高科技公司都使用深度神经网络来设计各种各样的智能系统。随着深度神经网络的出现,深度学习这个术语已经开始流行起来。
"人工神经网络的学习能力是其最令人好奇的性质,"国家核研究大学莫斯科物理工程学院的智能控制系统研究所的教授弗拉基米尔·戈洛夫科解释道,"神经网络就像生物系统,它们自己模拟自己,努力实现更好的行为模式"。
在杰弗里·辛顿描写有神经网络预训练技术的科学著作出版后,神经网络的学习在2006年出现突破。文章中提到,如果利用受限玻尔兹曼机对神经网络各层进行学习,那么可以有效地对多层神经网络进行预训练,然后通过误差反向传播法进行再学习。这些网络被称为深信度网络(Deep Belief Networks, DBN)。
国家核研究大学莫斯科物理工程学院的智能控制系统研究所的教授弗拉基米尔·戈洛夫科对深度机器学习存在的问题和基本模型进行了分析,提出了受限玻尔兹曼机学习的新方法。科学家表明,提出的方法是这种神经网络学习经典规则的特例。
"美国科学家明斯基和帕伯特曾经发现,从形态分类角度来看,带有阈值激活函数的单层视感控器形成线性分离表面,因此它不能解决异或任务。而这引发了关于神经网络进一步发展的悲观结论。但是,上述见解仅适用于带有阈值或单调连续激活函数的单层视感控器。在使用信号激活函数时单层视感控器可以解决异或任务,因为它能利用两个直线函数将形态输入空间划分为不同等级。"弗拉基米尔·戈洛夫科解释道。
这种深度学习法可能对神经网络的搜索引擎非常有益,根据作者观点,它将能以高速度搜索相关图像。
科研数据的使用价值难以估量:它们已经应用在不同领域,包括计算机视觉、语音识别和生物信息学。