随着数据集的增长和分析神经网络的复杂化，越来越多的用户选择用NVIDIA GPU来加速AI推理。

想要了解它们的实际应用，看看下面这些家喻户晓的公司产品就能明白。

美国通用的GEResearch在航空、医疗保健、电力和运输行业中部署了使用GPU加速的AI模型。这些模型实现了工厂检查自动化，为智能列车的运行提供保障，并能监控电站以及解释医学图像。

这些AI模型被运行在装载了V100Tensor Core GPU的NVIDIADGX系统上的数据中心服务器上，以及装载了JetsonAGX Xavier模块的边缘计算网络中。该硬件运行NVIDIA的TensorRT推理引擎及其用于深度学习的CUDA/ cuDNN加速库，以及用于Jetson模块的NVIDIAJetPack工具套件。

在消费市场上，全球两个最受欢迎的移动视频应用程序均在NVIDIA GPU上运行AI推理。

TikTok及其在中国的前身“抖音”在2019年2月全球下载量达到10亿次。字节跳动作为这两个应用程序的开发者和所有者，每天为4亿活跃用户每天上传多达5000万个新视频。

字节跳动在数千个NVIDIA T4和P4 GPU服务器上运行TensorRT，用户因此可以搜索并获得有关精彩视频的推荐。该公司估计， NVIDIA产品已帮助公司节省了数百万美元，同时将在线服务的延迟减少了一半。

在商业领域，德勤在其dTrax软件中使用AI推理来帮助公司管理复杂的合同。例如，当法规发生变化或公司计划进行大规模收购时，dTrax可以定位并更新长期协议中的关键条款。

当前全球有多家公司使用dTrax。该软件在数据中心的NVIDIA DGX-1系统和云中的AWS P3实例上运行，在2019年获得了《金融时报》的智能商业奖。

GPU加速推理运行速度

金融服务公司Square的测试结果显示，一般模型的推理任务在GPU上的运行速度是CPU的两倍，而在大型模型（例如RoBERTa）上，推理工作的完成速度提升了10倍。

因此，NVIDIA GPU对于其实现将Square Assistant从虚拟调度程序扩展到驱动公司所有产品的对话式AI引擎的目标至关重要。

宝马集团近期宣布将使用NVIDIA Isaac机器人平台开发五种新型机器人，以增强其汽车制造厂的物流水平。其中一款由NVIDIA Jetson AGX Xavier支持的机器人可以每秒执行多达32万亿次操作，以执行诸如感知、姿势估计和路径规划之类的计算机视觉任务。

AI推理也在汽车内部发生。中国的小鹏汽车于4月下旬推出了P7纯电动轿车，它使用NVIDIA DRIVE AGX Xavier通过推理传感器的数据以帮助实现3级自动驾驶功能。

过去三年来，NVIDIA数据中心平台的推理性能提高了近50倍，这在很大程度上要归功于Tensor Core的引入以及TensorRT中正在进行的软件优化以及PyTorch和TensorFlow等AI框架的提速。

在过去三年中，NVIDIA数据中心平台的推理性能提高了近50倍，这在很大程度上归功于Tensor Core的介入以及TensorRT中正在进行的软件优化以及PyTorch和TensorFlow等AI框架的加速。

来自世界各地的医学专家在2020年GPU技术大会（GTC）上就放射、基因组学、显微学和其他医疗保健领域的AI应用进行了数十次演讲。在一次演讲中，美国放射学院主席杰拉尔丁·麦金提（Geraldine McGinty）将AI称为同时达成提高医疗质量和降低成本的“千载难逢的机会”。

在农业领域，越来越多的初创公司正在使用AI来提高效率。例如，NVIDIA 初创加速计划会员Rabbit Tractors通过在多功能机器人上使用Jetson Nano模块，从摄像头和雷达数据中推断出需要进行播种、浇水或收获作物的位置。

还有其他公司也在通过GPU加速推理，其中包括美国运通的欺诈检测、宝洁的工业检查以及网络巨头的搜索引擎。

GPU推理的潜力在不断上升，准确性不断提高。

借助多实例GPU功能，NVIDIA Ampere架构将推理速度提高了7倍。A100 GPU中支持深度神经网络中稀疏性的新方法有望带来更多收益。这是在A100 GPU的技术概述中讨论的架构的几个新功能之一。