俄罗斯科学家改进了深度学习神经网络的方法

© 照片 : sarfti.ru俄罗斯科学家改进了深度学习神经网络的方法
俄罗斯科学家改进了深度学习神经网络的方法 - 俄罗斯卫星通讯社
关注
在国家核研究大学莫斯科物理工程学院的智能控制系统研究所提出了训练受限玻尔兹曼机(一种神经网络)的新方法,它可以优化数据的语义编码、可视化和识别过程。研究成果发表在Optical Memory and Neural Networks杂志中。

目前,对不同架构深度神经网络的研究日益普及:卷积神经网络、循环神经网络、自动编码神经网络。包括微软和谷歌在内的一些列高科技公司都使用深度神经网络来设计各种各样的智能系统。随着深度神经网络的出现,深度学习这个术语已经开始流行起来。

俄罗斯国家核研究大学莫斯科工程物理学院开发出作曲家虚拟助理软件 - 俄罗斯卫星通讯社
俄罗斯国家核研究大学"莫斯科工程物理学院"开发出作曲家虚拟助理软件
在深度学习系统中自动化地进行特征选择和设定过程。也就是说,网络独立地确定和使用最有效的算法来分级提取特征。深度学习具有利用统一最优的算法对大样本进行研究的特点。标准的优化算法同时对所有的操作参数进行设定,并通过所谓的反向传播法有效地评估神经网络每个参数对误差的影响。

"人工神经网络的学习能力是其最令人好奇的性质,"国家核研究大学莫斯科物理工程学院的智能控制系统研究所的教授弗拉基米尔·戈洛夫科解释道,"神经网络就像生物系统,它们自己模拟自己,努力实现更好的行为模式"。

在杰弗里·辛顿描写有神经网络预训练技术的科学著作出版后,神经网络的学习在2006年出现突破。文章中提到,如果利用受限玻尔兹曼机对神经网络各层进行学习,那么可以有效地对多层神经网络进行预训练,然后通过误差反向传播法进行再学习。这些网络被称为深信度网络(Deep Belief Networks,  DBN)。

国家核研究大学莫斯科物理工程学院的智能控制系统研究所的教授弗拉基米尔·戈洛夫科对深度机器学习存在的问题和基本模型进行了分析,提出了受限玻尔兹曼机学习的新方法。科学家表明,提出的方法是这种神经网络学习经典规则的特例。

"美国科学家明斯基和帕伯特曾经发现,从形态分类角度来看,带有阈值激活函数的单层视感控器形成线性分离表面,因此它不能解决异或任务。而这引发了关于神经网络进一步发展的悲观结论。但是,上述见解仅适用于带有阈值或单调连续激活函数的单层视感控器。在使用信号激活函数时单层视感控器可以解决异或任务,因为它能利用两个直线函数将形态输入空间划分为不同等级。"弗拉基米尔·戈洛夫科解释道。

科学家发明了一种可以改善癌症治疗的离子加速法 - 俄罗斯卫星通讯社
科学家发明了一种可以改善癌症治疗的离子加速法
在其文章中还对使用深度神经网络对数据进行压缩、可视化和识别的前景进行了分析。此外,戈洛夫科提出了利用深度自动关联神经网络来实现语义编码(散列)的方法。

这种深度学习法可能对神经网络的搜索引擎非常有益,根据作者观点,它将能以高速度搜索相关图像。

科研数据的使用价值难以估量:它们已经应用在不同领域,包括计算机视觉、语音识别和生物信息学。

新闻时间线
0