Myrtle.ai、AMD Alveo V80コンピューティング・アクセラレータカード上で大規模モデルのマイクロ秒レベルのML推論レイテンシを実現
ケンブリッジ（イギリス）, 2025年7月29日 /PRNewswire/ -- Myrtle.aiは、機械学習推論の高速化における先駆的企業として知られており、同社は本日、同社の推論アクセラレータ「VOLLO®」が AMD Alveo™ V80コンピューティング・アクセラレータカードに対応したことを発表しました。
VOLLOは、1マイクロ秒未満という業界最先端のML推論計算レイテンシを実現しながら、優れたスループット、電力効率、およびラックスペース効率を提供します。この新しいリリースにより、大規模モデルを扱うML開発者は、単一のFPGA上で動作させることで、極めて低いレイテンシの恩恵を受けることが可能になります。たとえば、2,200万パラメータの3層LSTMモデルは、p99レイテンシが10マイクロ秒未満で動作します。さらに大規模なモデルであっても、複数のFPGAに分割（シャーディング）して実行することで、依然として競合ソリューションよりも低いレイテンシを実現できます。
VOLLOは、金融取引、無線通信、サイバーセキュリティ、ネットワーク管理など、極限まで低いレイテンシでML推論を実行することが、セキュリティ、安全性、収益性、効率性、コスト面での優位性につながる幅広い分野で高い需要があります。
「VOLLOへの需要は両面から来ています。」と、Myrtle.aiのCEOであるPeter Baldwin氏は述べています。「一定のレイテンシ制約があるお客様にとっては、これまで小規模なモデルでしか達成できなかったレイテンシで、より大規模なモデルを実行できるようになったことに大変満足されています。また、特定のモデルに対して可能な限り低いレイテンシを求めるお客様もいらっしゃいます。単一のFPGA上で実行可能なモデルのサイズを拡大できたことは、両者にとって大きな助けとなりました。」
「メモリ集約型ワークロード向けに本番環境対応となったAMD Alveo V80コンピューティング・アクセラレータでVOLLOがサポートされることを大変嬉しく思います。」と、AMDのデータセンター向けFPGA事業ディレクターであるGirish Malipeddi氏は述べています。「AMDの顧客は、VOLLOを用いることで非常に低いレイテンシでML推論を実行できるようになり、また、VOLLOの実行に適したコンピューティング・アクセラレータを購入したい方には、VOLLOがこれまでに対応した中で最大のモデル容量を持つ単一FPGAであるAlveo V80を選択するという選択肢が提供されます。」
Alveo V80カードは、2.6M LUTのロジック密度、32GBのHBM、さらに32GBのDDR4および800Gネットワークインターフェースを備えたAMD Versal™ Adaptive SoCをベースにしています。このカードは、アプリケーションに応じてハードウェアを柔軟に適応させるFPGAファブリックを特徴とし、大規模なデータセットやメモリ集約型の計算処理に対応するHBM2eを組み合わせています。
ご興味のある方は、本日よりvollo.myrtle.aiからML向けのVOLLOコンパイラをダウンロードし、ご自身のモデルがAMD Alveo V80コンピューティング・アクセラレータカード上でどのようなレイテンシを達成できるかをお確かめいただけます。
Myrtle.aiについて
Myrtle.aiは、主要なFPGAサプライヤー各社のFPGAベースプラットフォーム上で、世界水準の推論アクセラレータを提供するAI/MLソフトウェア企業です。Myrtleは、あらゆる種類のMLネットワークに対応するニューラルネットワークの専門知識を有しており、FinTech、音声処理、レコメンデーション向けにアクセラレータを提供してきました。
AMD、AMDロゴ、Alveo、Versal、およびこれらの組み合わせは、Advanced Micro Devices, Inc.の商標です。
写真：https://mma.prnewswire.com/media/2739187/Myrtle_ai.jpg
ロゴ：https://mma.prnewswire.com/media/2739186/Myrtle_ai_Logo.jpg
SOURCE Myrtle.ai
この記事をシェアする