admin 管理员组

文章数量: 1184232

我们在很多地方都会看到各种显卡的参数比较，性能天梯图等，但很多都是基于显卡产品规格的纸面数据，在实际应用中，特别是AI方面的应用，各种显卡的实际性能到底如何，或者如何更有效地从应用的角度测试显卡的性能？

这里我们选择了英伟达的RTX 3090和RTX 4090两张显卡，基于实际模型训练的场景下实测性能来比较下被称为「上一代卡皇」的 3090 和「当前消费级主力」的 4090 的实际性能到底差多少。

3090和4090参数对比

先对比先3090和4090两张显卡的参数规格：

RTX 3090RTX 4090
架构AmpereAda Lovelace
CUDA核心数10,49616,384
显存容量24 GB GDDR6X24 GB GDDR6X
显存带宽936 GB/s1,008 GB/s
TDP功耗350W450W
FP32 算力35.6 TFLOPS82.6 TFLOPS
Tensor FP16 算力142 TFLOPS330 TFLOPS

  • 3090和4090在显存层面比较接近，显存容量都是24GB，显存带宽差异也不大

  • 算力方面，4090无论是单精度还是Tensor FP16都是3090的2.3倍左右

  • 其他方面，4090基于新的Ada Lovelace架构，并且功耗也远高于3090

基于ResNet-50的模型训练测试

ResNet-50是经典的计算机视觉模型，一种深度为50 层的卷积神经网络（CNN）。

我们基于Pytorch框架来训练ResNet-50模型，基于CIFAR-10数据集进行测试，来比较样本吞吐速度、显卡使用、GPU使用率等。

直接从GPU算力平台 晨涧云 分别租3090和4090两种机器进行模型训练的对比测试：

RTX 3090

RTX 4090

测试结果解释

  • 精度：FP32 表示使用单精度训练，FP16 表示使用混合精度训练

  • BatchSize：训练批次大小

  • Samples/s：每秒样本吞吐量

  • VRAM (MB)：峰值显存使用量

  • GPU Util (%)：峰值GPU利用率

这里主要看在GPU使用率比较高的场景下（BatchSize=256），模型训练样本的吞吐速度比较；无论是单精度还是混合精度，RTX 4090的样本吞吐速度差不多是RTX 3090的1.45倍左右。

本文标签： 显卡 性能 pytorch AI

版权声明：本文标题：使用PyTorch进行显卡AI性能实测 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1766229299a3446069.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。