ZenDNN AI推論ライブラリでTencentのAIアプリケーションを最適化

オンラインショッピングのおすすめ欄や自動運転システム、ホームページのオンラインチャットボットなど、人工知能（AI）は私たちの日常生活にますます浸透しています。AIはディープラーニングを行うプロセスの中で、学習済みのニューラルネットワークモデルを活用しています。AIが推論を行うアプリケーションの範囲を考慮すると、推論は、クラウド、エッジ、エンドポイントに展開された異なるハードウェアターゲットで実行される可能性が高くなります。特に、開発者が独立したソフトウェアスタックを使用して、異なるハードウェアターゲット上で推論アプリケーションを開発することが多い場合、このハードウェアの異機種混在は、ソフトウェアの課題を引き起こします。

テンセントの実際の使用例

テンセントは、このソフトウェアの課題を認識し、Tencent Accelerated Computing Optimizer (TACO) キットをリリースしました。これは、AI経験のレベルにかかわらず、すべての開発者が、モデル、フレームワーク、ハードウェアバックエンドを選択して、ディープラーニングのトレーニングと推論を実行できることを目的とした顧客向けのクラウドサービスです。TACOキットは、顧客がシンプルなユーザーインターフェースを使用する一方で、顧客のワークロードが最適に実行されるように縁の下で重い仕事をこなします。AMD EPYC™ CPUバックエンドから最高の推論パフォーマンスを引き出すために、テンセントはAMDのAI推論ライブラリであるZenDNNを、TACO Inferとして知られるTACO推論経路に組み込んでいます。

上の図は、テンセント社のTACO Inferのアーキテクチャ概要です。TACO Infer以前は、推論展開やパフォーマンスチューニングのために複数のハードウェアターゲットを個別に管理する負担は、Tencentのクラウドユーザーの肩にのしかかっていました。モデルフロントエンドの種類、ハードウェアバックエンド、ソフトウェアのバージョンなど、様々な組み合わせがあるため、ユーザーはその組み合わせに圧倒されてしまう可能性があります。また、コミュニティツールが豊富に存在することも、複雑さの一因となっています。ユーザーは、最も費用対効果が高く、パフォーマンスの高いソリューションを評価する代わりに、バリエーションを検討する労力と時間を惜しんで、使い慣れた選択肢を選ぶ傾向にあります。このため、クラウドユーザーは、自分のアプリケーションを最も適切なコンピューティングタイプにマッチングさせ、クラウドコンピューティングの可能性を十分に発揮することができません。

TACO Inferは、この問題を解決するために、クロスプラットフォームの統一最適化インターフェースと、テンセント・クラウドの高度に最適化されたヘテロジニアスパワーへの容易なアクセスを提供することを目的としています。TACO Inferの拡張可能な設計により、AMD EPYC プロセッサベースのデバイスをターゲットとする場合、カーネルバックエンドとしてZenDNNの統合が容易となります。使いやすさを考慮し、TACO InferはTensorFlowやPyTorchなどのディープラーニング・フレームワークへの変更を必要としません。TACOのソフトウェア開発キット（SDK）とアプリケーションをリンクさせるだけで、ZenDNNが提供する最適化を含む最適化が可能になります。ZenDNNを組み込むことで、TACOが達成できるパフォーマンスゲインをさらに押し上げることが、以下のテンセントが収集したデータポイントによって実証されています。

図2. TACO InferのZenDNNを使用した推論性能の向上と、テンセントのテストにおけるAMD EPYC CPUバックエンドでの汎用TensorFlowの比較。

図2は、テンセントのクラウドベアメタル（CBM）標準のSA2インスタンスとレイテンシーに最適化されたバッチサイズ1を使用したTACO Inferの最新リリースによるテンセント・テストでのスループット性能向上を示しています。コンピュータビジョンと自然言語処理タイプのさまざまな深層学習モデルにおいて、TACOとZenDNNによって可能になった最適化は共同で一般的なTensorFlowベースラインに比べて推論性能を向上させています。

AMDとテンセントの協業を支援するため、テンセント・クラウドサーバー部のディレクターであるリドン・チェン氏は、「AMDとテンセントは、最高のAIユーザー体験を提供するために、Tencent Accelerated Computing Optimizer（TACO）キットの最適化を共同で行っています」とコメントします。TACOをZenDNNで最適化することで、AMD EPYC CPU上で動作する有望なパフォーマンスアップがすでに確認されています。”とコメントしています。

テンセントの推論用TACO Kitの詳細については、テンセントのTACO Kitドキュメントセンターを参照してください。

AMD EPYCプロセッサー上でAMDのAI推論ライブラリZenDNNを評価するには、ZenDNN Developer Centralのページを参照してください。

こちらの記事はAMD本社のブログ記事を機械翻訳したものです。詳しくは元記事をご覧ください。