这款AI元软件可以加速英伟达和AMD芯片的性能

雅加达 - Facebook母公司Meta推出了一套名为AITemplate（AIT）的新免费软件工具，用于人工智能应用程序。该工具可以帮助提高底层芯片的性能。

AITemplate基于开源PyTorch机器学习框架，可将AI模型转换为高性能GPU C++模板代码以加速推理，并可以帮助代码在英伟达公司的旗舰A100芯片上运行速度提高12倍，在MI50 AMD芯片上运行速度提高多达4倍。

在发布时，AITemplate有两层模板系统，第一层是Python Jinja2模板，第二层是GPU张量核心/矩阵核心C++模板（用于英伟达GPU的CUTLASS和AMD GPU的可组合内核）。

首先，AITemplate 运行分析以查找 Python 中的最佳内核配置，然后将 Jinja2 模板呈现为C++代码。

生成模型源代码后，GPU C++编译器（英伟达 NVCC 和 AMD HIPCC）会将源代码编译为模型的最终二进制代码。通过类似于PyTorch的前端设计，用户可以轻松地将他们的模型从各种框架（包括PyTorch）转换为AITemplate。

“AITemplate还提供了广泛使用的开箱即用模型（例如，视觉转换器，BERT，稳定扩散，ResNet和掩码RCNN）。这简化了部署过程，并允许从业者轻松部署PyTorch锻炼前模型，“Meta在他的官方博客文章中说。

除此之外，AITemplate还减少了对外部库的依赖。这样，该软件可以使开发人员更容易在不同的基础芯片之间切换。

软件已成为芯片制造商的主要战场，他们希望建立一个开发人员生态系统来使用他们的芯片。

到目前为止，英伟达的CUDA平台是最受欢迎的人工智能工作平台。然而，一旦开发人员针对英伟达芯片调整了他们的代码，就很难在英伟达的竞争对手（如AMD）的图形处理单元或GPU上运行它们。

Meta表示，该软件旨在轻松在芯片之间交换，而不会被锁定。该公司还在其数据中心使用Nvidia芯片，长期以来一直是开源硬件和软件的支持者。