このAIメタソフトウェアは、NVIDIAとAMDチップのパフォーマンスを加速することができます

ジャカルタ - Facebookの親会社であるMetaは、人工知能アプリケーション向けに、AITemplate(AIT)と呼ばれる新しいフリーソフトウェアツールのセットを立ち上げました。このツールは、基盤となるチップのパフォーマンスを高速化するのに役立ちます。

AITemplateはオープンソースのPyTorch機械学習フレームワークに基づいており、AIモデルを高性能GPU C ++テンプレートコードに変換して推論を高速化し、Nvidia CorpのフラッグシップA100チップでは最大12倍、チップMI50 AMDでは最大4倍高速にコードを実行できます。

発売時点で、AITemplateには2つのテンプレートシステムがあり、1つはPython Jinja2テンプレート、2つ目はGPU Tensor Core/Matrix Core C ++テンプレート(NVIDIA GPUの場合はCUTLASS、AMD GPUの場合はComposable Kernel)です。

まず、AITemplate はプロファイリングを実行して Python で最適なカーネル構成を見つけ、次に Jinja2 テンプレートを C++ コードにレンダリングします。

モデルのソース コードが生成されると、GPU C++ コンパイラ (NVIDIA NVCC および AMD HIPC) はソース コードをモデルの最終的なバイナリ コードにコンパイルします。PyTorchに似たフロントエンド設計により、ユーザーはPyTorchを含むさまざまなフレームワークからモデルをAITemplatesに簡単に変換できます。

「AITemplateはまた、広く使用されているすぐに使用できるモデル(VisionTransformer、BERT、Stable Diffusion、ResNet、MaskRCNNなど)も提供しています。これにより、展開プロセスが簡素化され、開業医はPyTorchプレワークアウトモデルを簡単に展開できます」とMetaは公式ブログ記事で述べています。

それとは別に、AITemplateは外部ライブラリへの依存も軽減します。そうすれば、ソフトウェアは開発者が異なるベースチップを簡単に切り替えることができます。

ソフトウェアは、チップを使用する開発者のエコシステムを構築しようとしているチップメーカーにとって大きな戦場となっています。

はるかに、NvidiaのCUDAプラットフォームは人工知能作業に最も人気があります。しかし、開発者がNvidiaチップ用にコードを適応させると、AMDのようなNvidiaの競合他社のグラフィックス処理ユニット(GPU)でそれらを実行することは困難です。

メタ氏によると、このソフトウェアはロックアウトされることなくチップ間で簡単に交換できるように設計されています。データセンターでもNvidiaチップを使用している同社は、オープンソースのハードウェアとソフトウェアのサポーターとして長い間働いてきました。