Nvidia发表超大规模推论平台,瞄准大规模AI推论应用需求
2018-09-14 18:30:30 | 来源:ithome | 投稿:小唯 | 编辑:dations

原标题:Nvidia发表超大规模推论平台,瞄准大规模AI推论应用需求

Nvidia推出用于语音、视频、图片以及推荐服务的Tensorrt超大规模推论平台(Tensorrt△Hyperscale△Inference△Platform),其使用的Tesla△GPU提供高速处理深度学习工作负载的能力,而推论最佳化引擎TensorRT则可以充...

Nvidia推出用于语音、视频、图片以及推荐服务的Tensorrt超大规模推论平台(Tensorrt△Hyperscale△Inference△Platform),其使用的Tesla△GPU提供高速处理深度学习工作负载的能力,而推论最佳化引擎TensorRT则可以充分利用Tesla△GPU的效能,处理视频串流、语音和推荐系统等应用,并为Nvidia△DeepStream△SDK提供运算基础。

Nvidia提到,现在大规模资料中心可以借助超大规模推论平台的能力,使用增强的自然语言互动,并直接获取查询的答案,而非只是一些预存的可能候选答案。

超大规模推论平台由三个主要部分组成,Tesla△T4 GPU、TensorRT△5以及TensorRT推论伺服器。Tesla△T4 GPU拥有320个Turing△Tensor△Cores以及2,560个CUDA核心,提供灵活的FP32、FP16、INT8和INT4的多精度运算,其推测速度是相同耗能CPU的40倍。

而TensorRT△5则是推论最佳化程式和Runtime引擎,TensorRT△5支援Turing△Tensor△Core,针对多精度工作负载扩展了神经网络最佳化,能低延迟提供推荐系统、语音分辨和机器翻译等高吞吐量的应用服务,并且TensorRT还能将使用32或是16位元资料训练的模型,为Tesla△T4和P4上最佳化成INT8操作,以及在Tesla△V100上最佳化为FP16。同时还赋予DeepStream△SDK利用Tesla△GPU,同时解码和分析视频串流。

TensorRT推论伺服器是容器化的微服务软件,可以在资料中心环境让应用程序使用人工智能模型。TensorRT推测伺服器是一个可以立即执行的容器,其提供的微服务可以让使用者通过API,在一个或是多个GPU上,使用Caffe2、TensorRT和TensorFlow等任何支援ONNX标准的框架进行推测。

tags:

上一篇  下一篇

相关:

开发人新福音!让除错不再是苦差事!脸书测试可自动修补臭虫的AI工具SapFix

脸书(Facebook)周四(9/13)宣布,今年8月起内部已开始测试可自动修补臭虫的AI工具—SapFix,若搭配已被应用在生产线上的软件测试工具Sapienz,将可大幅加速程式开发流程,替全自动化的除错铺路,而Sapienz与SapFi

多多理财最新进展 [热事件]

现在人们的投资理财观念很强,认为钱不能再存银行拿很低的利息了,应该投资收益更高的理财平台,获取较高的投资回报。基于这种前卫的理财观念,新兴的P2P理财平台就成为这部分人的选择,但是很多P2P理财平台爆雷了,

AI趋势周报第56期:BMW明年推出车上AI助理,可自动调节车内温度、光线和音乐

图片来源: BMW 重点新闻(0907~0913)? BMW△??? AI助理 ?BMW明年要推出车用AI助理,预防疲劳驾驶BMV近日宣布将于明年推出车用AI助理,除了能执行语音指令,如播放音乐、导航或报告车辆状况等,还能根据驾驶疲劳程度,

云端通讯平台商Twilio加强客服中心解决方案,并购人力资源优化新创Ytica

提供云端通讯服务的Twilio,让企业可以通过API发送简讯、语音电话,而Twilio也常常是被开发者整合至DevOps工作流程,提供警报服务。而该Twilio宣布,要并购人力资源优化新创(Workforce△Optimization,WFO)Ytica,

爱当宝最新消息 [热事件]

现在,网上有很多网贷平台爆雷跑路的消息,相信相关投资人应该很关心自己的钱还能不能要回来吧。根据2018爱当宝最新消息,爱当宝平台已经公布还款方案,一起来看看详细内容。P2P理财爱当宝在11日发布的公告中表示由于

站长推荐: