Groq在社交媒体上以非凡的响应速度引起轰动

最新浮出水面的人工智能模式JAKARTA-Grog正在社交媒体上窃取其响应速度和新技术的关注,这些技术可能会消除对GPU的需求。

Groq在他的公开基准测试在社交媒体平台X上传播开来后,在一夜之间引起轰动,揭示了他的计算速度和响应速度,超越了流行的ChatGPT人工智能聊天机器人。

这是由于Groq背后的团队为大语言模型(LLM)开发了自己的应用程序的集成电路芯片(ASIC),允许Groq每秒生成约500个令牌。与ChatGPT-3.5相比,该模型的公开版本每秒只能生成约40个令牌。

该模型的开发商Groq Inc.声称已经创建了第一个在其模型中运行语言处理单元(LPU),而不是使用通常用于运行人工智能模型的图形处理单元(GPU)。

然而,Grok背后的公司并不是什么新鲜事。该公司成立于2016年,当时Grok的商标被注册。去年11月,当埃隆·马斯克(Elon Musk)的人工智能模型(也名为格罗克)引起了人们的注意 - 但与“k”相呼应 - 当格罗克背后的开发人员最初发布了一篇博客文章,强调马斯克的选择。

「我們可以理解你為什麼要命名我們。您喜欢快事(火箭,Hyperloop,一字母公司名称),我們的產品Grok LPU投射引擎是运行大语言模型(LLM)和其他生成人工智能应用程序的最快方式。但是,我们必须要求您选择另一个名称,并迅速,“Grok高管说。

自格罗克在社交媒体上疯传以来,马斯克和格罗克在X上的页面都没有对两款车型的相似性发表评论。

但是,该平台上的许多用户已经开始将LPU模型与其他基于GPU的模型进行比较。

一位从事人工智能开发工作的用户称Grok是低延迟需求产品的“重大变化”,指的是处理请求和响应所需的时间。

另一位用户写道,与GPU相比,Groq LPU在未来满足人工智能应用程序需求方面可能提供“大幅增长”,并表示这也可能是Nvidia正在寻找的A100和H100芯片的“高性能硬件”的良好替代品。

这是在主要的人工智能开发人员试图开发室内芯片以免仅依赖Nvidia的车型之际出现的。

据报道,OpenAI正在寻求全球政府和投资者提供数万亿美元的资金,以开发自己的芯片,以解决开发产品的问题。