雅加达 - Facebook母公司Meta推出了一套名为AITemplate(AIT)的新免费软件工具,用于人工智能应用程序。该工具可以帮助提高底层芯片的性能。

AITemplate基于开源PyTorch机器学习框架,可将AI模型转换为高性能GPU C++模板代码以加速推理,并可以帮助代码在英伟达公司的旗舰A100芯片上运行速度提高12倍,在MI50 AMD芯片上运行速度提高多达4倍。

在发布时,AITemplate有两层模板系统,第一层是Python Jinja2模板,第二层是GPU张量核心/矩阵核心C++模板(用于英伟达GPU的CUTLASS和AMD GPU的可组合内核)。

首先,AITemplate 运行分析以查找 Python 中的最佳内核配置,然后将 Jinja2 模板呈现为C++代码。

生成模型源代码后,GPU C++编译器(英伟达 NVCC 和 AMD HIPCC)会将源代码编译为模型的最终二进制代码。通过类似于PyTorch的前端设计,用户可以轻松地将他们的模型从各种框架(包括PyTorch)转换为AITemplate。

“AITemplate还提供了广泛使用的开箱即用模型(例如,视觉转换器,BERT,稳定扩散,ResNet和掩码RCNN)。这简化了部署过程,并允许从业者轻松部署PyTorch锻炼前模型,“Meta在他的官方博客文章中说。

除此之外,AITemplate还减少了对外部库的依赖。这样,该软件可以使开发人员更容易在不同的基础芯片之间切换。

软件已成为芯片制造商的主要战场,他们希望建立一个开发人员生态系统来使用他们的芯片。

到目前为止,英伟达的CUDA平台是最受欢迎的人工智能工作平台。然而,一旦开发人员针对英伟达芯片调整了他们的代码,就很难在英伟达的竞争对手(如AMD)的图形处理单元或GPU上运行它们。

Meta表示,该软件旨在轻松在芯片之间交换,而不会被锁定。该公司还在其数据中心使用Nvidia芯片,长期以来一直是开源硬件和软件的支持者。


The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)