GTC 2023直播：英伟达推出Hopper GPU，速度比PCIE快

针对ChatGPT等大型语言模型的推理，我们宣布推出一款新的Hopper GPU配备双GPU NVLINK的PCIE H100

同时还可支持商用PCIE服务器轻松扩展

目前在云上唯一可以实际处理ChatGPT的GPU是HGX A100与适用于GPT-3处理的HGX A100相比，一台搭载四对H100及双GPU NVLINK的标准服务器的速度

H100可将大型语言模型的处理成本，降低一个数量级

Grace Hopper非常适合处理大型数据集，例如适用于推荐系统和大型语言模型的AI数据库。

如今，利用大容量内存，CPU会存储和查询巨型嵌入表，然后将结果传输到GPU进行推理，借助Grace-Hopper， Grace可以查询嵌入表，并将结果直接传输到Hopper速度比PCIE快7倍

GTC 2023主题直播地址：https://t.elecfans.com/live/2302.html