Google AI Edge Torch導入：PyTorchモデルをTensorFlow Liteに変換しエッジデバイスの性能を向上

エッジデバイスにおけるAIモデルのパフォーマンス強化に向けて、Googleが新たなツール「AI Edge Torch」を発表し、注目を集めています。
このツールにより、PyTorchで開発されたモデルをTensorFlow Liteへ容易に変換し、エッジデバイス上で高速に実行できるようになります。

本記事では、AI Edge Torchの特徴や機能、さらには初期採用者が体験したパフォーマンスの向上について詳しくご紹介します。

Googleが提供するリソースや開発者コンソールとの連携により、エッジデバイスでのAIアプリケーション開発が一層進化し、開発者にとってメリットが倍増することが期待されます。

Google AI Edge Torchの新機能発表

Googleは、PyTorchモデルをTensorFlow Lite（TFLite）ランタイムに変換するためのツール「AI Edge Torch」を新たに発表しました。

このツールはエッジデバイス上でのパフォーマンス向上を目指すもので、PyTorchのモデルや演算子を幅広くサポートしています。

既存のTFLiteランタイムとの互換性を持ち、GPUサポートも提供します。AI Edge TorchはPyTorchユーザーの移行を簡略化する目的で開発され、TorchDynamoフレームワークを活用し、新しいPyTorchの機能を使ってモデルの変換を行います。
既存の方法よりも性能が向上していることが示されています。

AI Edge Torchは、オンデバイスの機械学習のためのGoogle AI Edgeスイートの一部です。Shopifyなどの初期採用者やハードウェアパートナーとの共同作業によりツールが強化され、将来的にはモデルカバレッジとGPUサポートの拡大が計画されています。

GoogleはGDGs、GDEs、アクセラレーター、GDSCsなどのリソースを提供し、アプリの管理のための様々な開発者コンソールを複数の言語で提供しています。

PyTorchモデルをTFLiteに変換

Google AI Edge Torchは、PyTorchで開発されたモデルをTFLiteフォーマットに変換し、エッジデバイス上で利用可能にする新機能を備えています。
この変換プロセスは、新たに発表されたTorchDynamoを使用し、PyTorch 2.xの新しいエクスポート機能を利用して行われます。

この変換により、開発者はPyTorchモデルをより簡単にTFLiteランタイムで実行できるようになり、エッジデバイス上でのAIアプリケーションのパフォーマンスを向上させることができます。

Googleのテストによると、以前はONNX2TFなどのコミュニティ提供の方法を使用していた開発者にとって、AI Edge Torchはモデルカバレッジの向上とパフォーマンスの改善をもたらしました。
特に、ONNX2TFと比較して、AI Edge Torchはパフォーマンスの面でONNXランタイムよりも優れていました。

エッジデバイス向け性能向上

AI Edge Torchによって、多くのエッジデバイスでAIモデルの性能が大幅に向上しました。
特に、Qualcommの新しいTensorFlow Liteデリゲートを使うことで、QualcommのDSPやニューラルプロセッシングユニットを活用し、CPUやGPUに比べて平均20倍の速度向上が見られました。

また、Qualcomm AI Hubというクラウドサービスを利用することで、開発者は様々なAndroidデバイスでTFLiteモデルをテストし、QNNデリゲートを使用したデバイスごとのパフォーマンス向上を確認できます。

Googleは今後数ヶ月にわたり、モデルカバレッジの拡大、GPUサポートの改善、新しい量子化モードの実現に取り組むとしています。

出典:Google for Developers