6月28日消息，AI火爆之后，NVIDIA的显卡成为香饽饽，尤其是高端的H100加速卡，售价超过25万元依然供不应求，而它的性能也非常夸张，最新的AI测试中全面刷新记录，基于GPT-3的大语言模型训练任务纪录已经被刷至11分钟。
机器学习及人工智能领域开放产业联盟MLCommons公布了最新的MLPerf基准评测，其中包括8个负载测试，LLM大语言模型中就有基于GPT-3开源模型的，很考验平台的AI性能。
参与测试的NVIDIA平台由896个Intel至强8462Y+处理器和3584个H100加速卡组成，是所有平台中唯一跑完所有测试的，而且刷新了记录。
在关键的基于GPT-3的大语言模型训练任务中，H100平台只用了10.94分钟，可以对比的是Intel平台，由96个至强8380处理器和96个Habana Gaudi2 AI芯片构建的系统中，完成同样测试的时间为311.94分钟。
H100平台的性能几乎是30倍于Intel平台，当然两套平台的规模相差也很大，但只用768个H100加速卡的话，训练时间也只要45.6分钟，依然远超Intel平台的AI芯片。
H100基于GH100 GPU核心，定制版台积电4nm工艺制造，800晶体管，集成18432个CUDA核心、576个张量核心、60MB二级缓存，支持6144-bit HBM高带宽内存，支持PCIe 5.0。
H100计算卡有SXM、PCIe 5.0两种样式，其中SXM版本15872个CUDA核心、528个Tensor核心，PCIe 5.0版本14952个CUDA核心、456个Tensor核心，功耗最高达700W。
性能方面，FP64/FP32 60TFlops(每秒60万亿次)，FP16 2000TFlops(每秒2000万亿次)，TF32 1000TFlops(每秒1000万亿次)，都三倍于A100，FP8 4000TFlops(每秒4000万亿次)，六倍于A100。