热点:

    用了这款软件 AI推理性能将大大提升

      [  中关村在线 原创  ]   作者:李想   |  责编:孙玉亮

        在之前,老黄在GTC 2018上讲述了会议的几大部分,而现在到了AI推理。NVIDIA新发布的TensorRT 推理软件对 Kaldi 的语音加速以及扩展对 ONNX 的支持;GPU 推理速度现在比 CPU 快可高达 190 倍。

    用了这款软件 AI推理性能将大大提升

        除了推出新版的TensorRT 推理软件,更是将TensorRT 集成至谷歌的 TensorFlow 框架。NVIDIA还宣布,最受欢迎的语音识别框架 Kaldi 现已针对 GPU 进行了优化。NVIDIA 与亚马逊、Facebook及微软等合作伙伴的紧密协作,让开发者更易于使用 ONNX 与 WinML 充分发挥 GPU 加速的优势。

    用了这款软件 AI推理性能将大大提升

        NVIDIA 加速计算副总裁表示:即便是最大规模的神经网络,面向量产型深度学习推理的 GPU 加速也能够让其以最低成本实时运行。随着对更多智能应用及框架支持的快速扩展,我们现在能够提高深度学习的质量,并帮助降低 3000 万台超大规模服务器的成本。

    用了这款软件 AI推理性能将大大提升

        TensorRT 4 软件针对广泛的应用加速深度学习推理。TensorRT 提供高度精确的 INT8 与 FP16 网络执行,最高可减少 70% 的数据中心成本。可用于快速优化、验证及部署在超大规模数据中心、嵌入式与汽车 GPU 平台中经过训练的神经网络。相比 CPU,针对计算机视觉、神经网络机器翻译、自动语音识别、语音合成与推荐系统等常见应用,该软件最高可将深度学习推理的速度加快 190 倍。

    用了这款软件 AI推理性能将大大提升

        为了进一步精简开发,NVIDIA 与谷歌的工程师已将 TensorRT 集成至 TensorFlow 1.7,使得在 GPU上运行深度学习推理应用更加容易。NVIDIA 优化了全球领先的语音框架 Kaldi,以实现运行于 GPU 的更快性能。GPU 语音加速意味着消费者将获得更加准确与实用的虚拟助手,并降低数据中心运营商的部署成本。

    本文属于原创文章,如若转载,请注明来源:用了这款软件 AI推理性能将大大提升//vga.zol.com.cn/683/6830593.html

    vga.zol.com.cn true //vga.zol.com.cn/683/6830593.html report 1568 在之前,老黄在GTC 2018上讲述了会议的几大部分,而现在到了AI推理。NVIDIA新发布的TensorRT 推理软件对 Kaldi 的语音加速以及扩展对 ONNX 的支持;GPU 推理速度现在比 CPU 快可高达 190 倍。除了推出新版的Ten...
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    • 热门显卡
    • 新品上市
    推荐问答
    提问
    • 论坛精选
    • 最热回答
    0

    下载ZOL APP
    秒看最新热品

    内容纠错