Nvidia以深度学习自动修复影像,P图不求人!
2018-04-25 10:14:59 | 来源:ithome | 投稿:阿呆 | 编辑:dations

原标题:Nvidia以深度学习自动修复影像,P图不求人!

Nvidia研究员发表论文,能以深度学习修补破损或是缺少像素的图片,另外也能用于移除部分图片内容,并由人工智能自动填补的方式编辑图片。而这也是第一个能在不规则孔洞中,应用深度学习修复图像的研究。

研究人员提到,过去图像修复的应用,仅能将深度学习技术用在集中于图像中心的矩形孔洞,并且依赖高成本的后制,但是最新的方法,可以强健的处理任何形状、大小和位置的孔洞,也不需考虑孔洞在图像边界的距离,而且他们的模型经过训练后,可以处理越来越大的孔洞。

这项研究先使用ImageNet、Places2和CelebA-HQ资料集图片来训练其神经网络,该研究团队准备了55,116个随机条纹、任意形状和大小的孔洞遮罩用作训练资料。他们另外还产生了近2.5万个孔洞用来做实验,并且为了增加准确度,还将这些孔洞依据输入图片的大小分为6类。

在训练阶段,通过将不同的孔洞以及缺失的部分叠入完整的图片中,让模型训练学习缺失的像素。在测试阶段则将没使用于训练期间的孔洞引入测试图像的资料集以执行重建的准确性验证。

现存的方法,图片重建的机制会有颜色差异以及模糊的伪像,因为其缺失的像素必然来自于神经网络输入的图像。研究人员强调他们的研究特别避开这个缺陷,他们使用部分卷积层(Partial△Convolution△Layer),让用来修补的像素,不再只能来自于输入值。这种重新正规化的方法,确保输出值与接受域中缺失的像素值无关。

左图的左下角原本有座桥,经过涂白遮盖影像后,右边由AI自动修复的影像中已看不到桥的踪影。

以AI重建影像:

tags:

上一篇  下一篇

相关:

Google AIY专案推新款语音及影像识别套件,鼓励使用者自造声控喇叭、视觉分辨应用

图片来源: Google Google于本周更新人工智能自造者专案(do-it-yourself△artificial△intelligence,AIY)的语音分辨套件Voice△Kit与视觉套件Vision△Kit,提供更简洁的说明,并附上新的程式与Raspberry△Pi△Zero

病理研究有新帮手,Google以AR显微镜结合深度学习即时发现癌细胞

AR显微镜会自动以绿色圈出可能为癌症肿瘤的区块,并以用文字、箭头、热图或是动画的方式呈现癌症组织的区块。 图片来源: Google Google近日于美国癌症研究协会一年一度的会议中发表了用来自动即时侦测癌症的AR显微

AI趋势周报第35期:清大NVision团队创新机器人打败80国团队,夺下Nvidia 机器人大赛冠军

NVision研发出一套可精准模拟现实的机器人控制系统,并运用到实体机器人身上,不须其他感测器、只靠单镜头,就能侦测物体、避开障碍物。 图片来源: Nvidia 重点新闻(0406~0412)?NVision△?? Nvidia△?清大NVision

JPEG新规格,压缩率更少、影像品质更好

联合图像专家小组(Joint△Photographic△Experts△Group,JPEG)发表新的图像格式JPEG△XS,不只开源,而且能使用更少的能耗压缩图像,虽然档案压缩率不如JPEG档,但在宽频网络环境仍能低延迟传送高品质图像,新格式

Nvidia GPU驱动程式本月起中止支援32

示意图,与新闻事件无关。 图片来源: Nvidia Nvidia上周宣布其显卡产品驱动程式从本月开始将不再支援32-bit作业系统。根据Nvidia的最新支援计划,从4月起,该公司Game△Ready驱动程式更新包括效能更新、新功能及修

站长推荐: