Google AI相机Clips不只会拍照,还能自动选择场景拍摄视频
2018-05-15 11:08:51 | 来源:ithome | 投稿:阿呆 | 编辑:dations

原标题:Google AI相机Clips不只会拍照,还能自动选择场景拍摄视频

图片来源:

Google

Google前阵子释出AI相机Clips,最近则在AI研究博客公开用Google△Clips自动捕捉重要瞬间和视频的实验方法,找来摄影专家手动为训练资料集的视频片段评分,让AI模型学习如何分辨出有趣的拍摄场景。

Google研究团队过去一直在研究如何用深度学习方法,让电脑视觉演算法分辨拍摄照片的元素,像是人、微笑、宠物、日落、知名的景点等,Google△Clips的设计围绕着3个重要的原则。

首先,所有的计算都必须在行动装置上完成,这样一来,除了可以延长相机电池的寿命之外,还能够减少延迟性,在行动装置上执行计算也意味着,所有的拍摄片段都只会存在装置上,并不会外流,同时可以保护用户隐私,用户能够自行选择是否要储存和分享。

第二个原则是团队希望相机可以拍摄视频,而不是只有单张的照片,因为动作更能够保留当时的回忆,且拍摄视频比起照片,更容易捕捉到重要的时刻。

最后一个原则是要聚焦于捕捉人和宠物的镜头,而不是一些抽象场景的艺术照片,也就是说,Google的研究团队不会尝试着教导Clips如何调整构图、色彩平衡、光线等,而是让Clips自动聚焦于包含人和宠物有趣互动的场景。

而Google研究团队是如何训练Clips捕捉重要的拍摄时刻和场景?如同许多机器学习的训练过程,要先从训练资料集开始,首先Google研究团队建立了包含数千个视频的资料集,且该资料有多种不同的场景、性别、年龄和种族,接着,研究团队找来专业的摄影师和视频的剪辑专家,手动挑选出视频中最好的片段,这些挑选过的片段能够让演算法模拟。

不过,要训练演算法学习主观的判断是非常有挑战性的,需要有合适的量化指标让演算法了解内容的品质,像是从完美到最糟的。为了解决这个问题,研究团队收集了第二个资料集,为了要为整段视频创造出连续的品质分数,团队将视频分成多个片段,随机挑选两个片段,让摄影专家选出较好的片段。

研究团队不让专家直接对视频评分,而是通过成对的对比方法,因为二选一的方式,比直接给予一个品质评分,更为直观、简单,专家用成对对比方式的挑选结果也较为一致,能够让研究团队计算视频品质分数,Google从超过1,000支视频中,收集了超过5千万对的片段,来让人类专家评分。

完成资料集后,就进入训练模型的阶段,要训练神经网络模型评估相机拍摄每张照片的品质,首先先假设系统了解场景内的主角,像是人、狗、树等,如果假设正确,就能利用分辨照片内容来预测品质分数。

为了能够分辨训练资料集中照片的物体,研究团队利用Google相片和图片搜寻服务背后的机器学习技术,该技术可分辨超过27,000种不同的物体、概念和动作的标签,由专家挑选出大约数百种需要的标签,来设计分辨模型。

为了让分辨模型可以在装置上预测任何照片的品质,Google研究团队训练了电脑视觉模型?MobileNet相片内容模型(Image△Content△Model),来模仿以伺服器预测的模型,该压缩的模型可以从照片中分辨出最多有趣的元素,将不相关的内容排除。

最后一个步骤即是从输入照片的内容,预测品质分数,除了用训练资料集来确保预测的准确度之外,研究团队还为已知的有趣场景调整品质分数的权重,像是重复出现的脸部、微笑和宠物、拥抱、亲吻和跳舞等。

有了预测有趣场景的模型后,相机就能根据预测结果,即时决定要捕捉哪些画面,大多数的机器学习模式都是用来辨认照片中的物体,但是,Google△Clips要辨认的目标更为模糊且主观,因此需要结合客观和意义的内容,来让专家建立主观的AI预测模型,此外,Clips的运作模式并非全自动,而是需要与人类一同合作,为了拍摄到更好的结果,需要由人确保相机镜头聚焦于有趣的场景。

tags:

上一篇  下一篇

相关:

消费贷还能做首付? [热事件]

消费贷还能做首付?日前,有市民向信息时报反映,自己频繁收到来自第三方机构的短信,表示可低息无抵押借到额度较大的贷款。记者进一步调查发现,这些机构在明知借款人的借款用途是购房前提下,仍表示可通过“银行的

Note7案再开庭 推荐

要求由有资质的第三方进行勘验,且进行全程视频直播文/图羊城派记者董柳通讯员岳岩广州市民回先生在网上购买了一部三星手机,没想到买回来第二天,手机就自燃了。今天(5月14日)下午,广州市越秀区法院对这起手机自

视频网站付费会员含金量低 [热事件]

对于不少人来说,刷剧刷一半因为没权限没法往下看是很令人扫兴的,所以很多人都会事先买好会员,可买完会员后,有的人就会发现有些视频网站付费会员含金量低的情况了,这样一来,自然又产生新的不满。那么,所谓视频

故宫鼓浪屿外国文物馆复原18世纪国王餐桌场景 推荐

猴子交响乐团栩栩如生。2018国际博物馆日将近,“CHINA·MEISSEN:德国梅森瓷器百年臻艺展”13日在故宫鼓浪屿外国文物馆临时展厅揭幕,其中,以122件瓷器复原18世纪国王餐桌的场景,尤为惊艳。任万平(左三)等嘉宾在观

小米成立独立相机部门 [热事件]

现在国内以“拍照手机”为主打卖点的智能手机品牌有vivo和oppo两大生产商,但是这并非是最终的结果,在不久的将来,国内智能手机品牌都将以此当卖点,日前小米成立独立相机部门的消息从内部传出,欲打造世界顶级水平

站长推荐: