MLCommons 发布了 AI 芯片和高端 AI 系统的新测试

雅加达 - 3月27日(星期三),MLCommons人工智能基准组发布了一系列新的测试和结果,以评估最佳硬件可以运行人工智能(AI)应用程序并响应用户的速度。

MLCommons添加的两个新基准测量了人工智能芯片和系统可以从充满数据的强大AI模型中产生回应的速度。这些结果大致显示,像ChitGPT这样的AI应用程序可以多么快地响应用户的问题。

新基准之一增加了为大语言模型测量问题和答案情景中的速度的能力。它被称为Llama 2,涵盖700亿个参数,由Meta Platforms Inc.开发。

MLCommons官员还根据Stability AI的Stable Diffusion XL模型,将文本生成器添加到第二张图像中添加到一系列测试工具中,称为MLPerf。

Alphabet,Supermicro和Nvidia本身的谷歌等公司构建的Nvidia H100芯片支持的服务器在原始性能中轻松赢得了这两个新基准。一些服务器制造商根据低于该公司的L40S芯片提出了设计。

Krai 服务器的构建 为高通AI 芯片的图像生成基准提供设计,该芯片的功率比Nvidia的领先处理器要少得多。

英特尔还发布了基于其Gaudi2加速器芯片的设计。该公司将结果描述为“坚实”。

原始性能并不是部署AI应用程序的唯一关键尺寸。先进的AI芯片消耗大量的能量,人工智能公司面临的最大挑战之一是部署提供最佳性能量和最小能量量的芯片。

MLCommons 有一个单独的基准类别来衡量功耗。