越来越多AI自我优化的技术出炉,Google Brain靠强化学习自动找出深度神经网络最佳化的规则
2018-03-31 12:15:20 | 来源:ithome | 投稿:米娜 | 编辑:dations

原标题:越来越多AI自我优化的技术出炉,Google Brain靠强化学习自动找出深度神经网络最佳化的规则

Google△Brain最近宣布靠着强化学习,开发出自动寻找神经网络优化器的方法,Google表示,这个模式与过去用AutoML,探索新的竞争神经网络架构的方法类似,为了协助开发人员训练模型,Google已经在Tensorflow中加入这些新找到的最佳化规则。

在许多Google的服务中都有深度学习模型的身影,像是Google搜寻引擎、翻译是图片,而在训练深度学习模型时,如何选择优化模型的方法是非常重要的。

举例来说,梯度下降(Stochastic△gradient△descent)在许多情况下都非常适用,但是特别是针对深度神经网络,若更用好的优化器,可以达到更佳的效能,而神经网络非凸(Non-convex?)优化的问题,非常具有挑战性,因此,Google△Brain团队尝试开发出自动寻找优化器的方法。

在过年发表的一篇论文中,Google△Brain团队开发出一套可以探索深度学习架构优化器的方法,借由这个方法,研究团队找到两个新的优化器,分别是PowerSign和AddSign,这两个优化器在多种不同的任务和架构下,都有非常好的表现,像是ImageNet分类和神经网络机器翻译系统。

神经网络优化器的搜寻方法是通过递归神经网络(Recurrent△Neural△Network,RNN) 控制器,来取得初始典型、相关的优化器,包含梯度、组合最佳化,利用强化学习的方式,控制器会先产生候选优化器,或是更新优化的规则,来训练子卷积神经网络(Convolutional△neural△network,CNN),子网络计算出准确率后,再回馈给控制器,不断重复找到将模型最佳化的优化规则。

tags:

上一篇  下一篇

相关:

DeepMind在法国新成立AI实验室,聚焦于核心技术和演算法研究

图片来源: DeepMind DeepMind于29日宣布在法国巴黎成立新AI实验室,这是DeepMind在欧陆的第一座AI实验室,将由在DeepMind的首席研究员Remi△Munos领军,DeepMind着作150篇研究论文,曾于巴黎理工大学担任教授,他认为

技术男创业半年买别墅被捕 [热事件]

在上海某公司上班的万某某辞职后创业,开发出“镇江全民麻将”APP,然后召集22名人员当群主,组建30个群在手机上打“镇江麻将”,万某某从中“卖钻”分成。半年多时间,扣税后万某某竟然获利高达550多万元!更为惊人

深度学习基金会启动Acumos AI专案,打造人工智能共享平台

Linux基金会底下的深度学习基金会,为驱动开源人工智能生态系的茁壮,启动了Acumos△AI计划,建构人工智能与机器学习应用程序与模型的分享平台,AT△T以及Tech△Mahindra为Acumos△AI计划贡献了起始的程式,现在已能

解开深度学习黑盒子的第一步,DeepMind用删除法了解个别神经元的重要性

深度神经网络可以解决不少大范围具有挑战的任务,但是深度神经网络由许多独立的神经元组成,因此计算的过程非常复杂,也常常被称为黑盒子,DeepMind近日发表一篇论文,通过神经元的删除法(Neuron△deletion),了解

辉丰股份首届“技术交流大会”圆满落幕 推荐

2017年3月25日-26日,由辉丰股份投管中心主办的辉丰股份首届“技术交流大会”在上海焦点梦想园成功举办。此次活动,邀请了集团总工程师陈晓东先生,集团副总工程师王良清先生,投管中心总经理李萍女士,投管中心何福

站长推荐: