预防AI被误导,IBM开源检测模型及对抗攻击的工具箱
2018-04-18 11:50:20 | 来源:ithome | 投稿:乐乐 | 编辑:dations

原标题:预防AI被误导,IBM开源检测模型及对抗攻击的工具箱

为了防御AI模型遭到误导产生错误的判断,研究人员需要经过不断的模拟攻击来确保AI模型不会受到欺骗,IBM研究团队近日于GitHub开源了检测模型及对抗攻击的工具箱Adversarial△Robustness△Toolbox,来协助开发人员加强针对深度神经网络攻击的防御性,让AI系统变得更加安全。

近几年AI在许多认知任务上都有所突破,生活中许多任务也都开始加入AI技术,像是分辨图像和视频中的物体、语音转文字、机器翻译等,不过,深度学习网络若受到设计过的干扰讯号影响,很容易产生错误的判断,而这类型的干扰是人类难以察觉的,有心人可能会利用这样的弱点,误导AI模型的判断,用于不当的意图。

Adversarial△Robustness工具箱目前主要提供增强电脑视觉分辨的防御性,提供开发人员开发出新型防御技术,并在实际部署AI模型时也能防御恶意的误导攻击,该工具箱是用Python撰写而成,因为Python为建立、测试和部署深度神经网络最常用的语言,包含了对抗和防御攻击的方法。

首先,开发人员可以用该工具箱检测深度神经网络的稳固性,主要记录了模型对不同干扰的输出结果,再通过攻击的资料集来强化AI模型,最后标注攻击模式和讯号,防止模型因干扰讯号,产生错误结果。

Adversarial△Robustness工具箱目前支援TensorFlow和Keras,未来预计会支援更多框架,像是PyTorch或MXNet,现阶段主要是提供图像分辨的防御,未来将会增加更多领域的版本,像是语音分辨、文字分辨或和时间序列等。

tags:

上一篇  下一篇

相关:

强化电子邮件安全,新版Gmail将可禁止转寄或列印,还能为机密邮件设定阅读期限

示意图,与新闻事件无关。 图片来源: Google 上周Google才寄信通知G△Suite用户,表示旗下的Gmail服务即将进行大改版,将新增懒人回复、邮件打盹及离线存取等功能,然而,Google在通知信中没说的是,新版Gmail还将

开源AR头戴装置“北极星”亮相,让你的双手就是控制器

人机介面厂商Leap△Motion发表了一款名为北极星(North△Star)的开源扩增实境(AR)头戴装置,其两个1600×1440解析度的荧幕,提供使用者超过100度的视角,另外,还结合了180度手势追踪侦测器,让使用者可以直接用手势

AR?VR双周报第7期:Mozilla开源释出Firefox Reality浏览器,要通吃所有VR与AR装置

与WebVR技术不同的是,Firefox△Reality以现有的Firefox△网页技术,加上实验性的网页引擎Servo开发完成,而且还是第一个跨平台浏览器,同时可以支援VR或AR装置,包括Daydream及Gear△VR等头戴装置。 ?Mozilla△??

鸡尾酒效应挑战达成,Google打造能分辨特定人声的模型

图片来源: Miki△Rubinstein Google近日用深度学习打造出可以在有许多声音的复杂环境下,将特定人声分离,单独分辨每个人声音的模型,在有背景声音或是环境噪音的情况下,也能将背景音的影响降到最低,分辨出主要讲

Netflix开源内部金丝雀自动化测试工具,Google把它变成跨云持续派送的利器

Netflix与Google共同释出开源的自动化金丝雀分析(Automated△Canary△Analysis,ACA)工具Kayenta,该服务能帮助开发团队降低快速部署可能发生的风险,以应付现今各种规模以及持续交付的工作。Netflix的资深软件工程

站长推荐: