ブログ

May 25, 2023

Jetson がロケットブーストを取得: 手

Sono passati sei mesi da quando Jensen Huang di NVIDIA è salito sul palco delle GPU

NVIDIA の Jensen Huang 氏が GPU テクノロジ カンファレンス (GTC) '22 に登壇し、人工知能 (AI) をターゲットとした高性能、低消費電力の Jetson Orin Nano システムオンモジュール (SOM) を発表してから 6 か月が経過しました。はしっこ。 さて、GTC '23 です。Huang がステージに戻ってきました。今回は、すぐに利用できる Jetson Orin Nano 開発者キット バンドルを発売します。

Jetson Nano の「80 倍」のパフォーマンスを実現する新しい Jetson Orin Nano は、同社の最新世代 Orin グラフィックス プロセッシング ユニット (GPU) アーキテクチャをエントリー レベルに引き上げるように設計されています。しかし、同社の高い約束を果たすことができるでしょうか?

Jetson Orin Nano SOM には実際には 2 つの種類があり、1 つは実質的にもう 1 つのパフォーマンスの半分です。 エントリーレベルの Jetson Orin Nano 4GB は、名前が示すように、32GB/秒の帯域幅を備えた 4GB LPDDR5 メモリ、最大 1.5GHz で動作する 6 コア Arm Cortex-A78AE CPU、および 512 CUDA コアを備えた Orin GPU を備えています。 16 個の Tensor コアにより、20 テラオペレーション/秒 (TOPS) の INT8 コンピューティングを実現します。 対照的に、Jetson Orin Nano 8GB は、オンボード メモリの容量と帯域幅、GPU の CUDA コアと Tensor コアの数の両方を 2 倍にしますが、CPU はそのままにして、40 TOPS を実現します。

開発者キットの購入を検討している人にとって、その違いは無意味です。これは、事前にバンドルされている Jetson Orin Nano 8GB でのみ利用可能です。 SOM が事前に簡単にインストールされているキャリア ボードは、技術的には SOM またはハイエンド Jetson Orin NX SOM の 1 つを受け入れることができます。ただし、キャリア ボードを外部から購入できないため、これも問題ではありません。開発者キットバンドル。

コンパクトなキャリア ボード自体は、Jetson Orin Nano SOM の最も重要な機能を備えています。 DisplayPort 1.2 ビデオ出力が 1 つ、USB 3.2 Gen. 2 Type-A ポートが 4 つ、ギガビット イーサネット ポートが 1 つ、USB Type-C ポートが 1 つありますが、電源用ではなく、バンドルされた 45W PSU と DC ジャックを介して処理されます。デバッグと USB デバイスの操作用。

メイン ポートの左側には 2 つの 22 ピン MIPI カメラ シリアル インターフェイス (CSI) ポートがあり、USB カメラの代わりに、または USB カメラに加えて使用できます。 右側には、UART、SPI、I2C、I2S、およびパルス幅変調 (PWM) サポートを含む 40 ピンの汎用入出力 (GPIO) ヘッダーが実装されています。 バンドルされたヒートシンクとファン用の PWM 速度制御ヘッダーと、外部ボタン制御用の 12 ピン ヘッダーもあり、SOM の上端の下にややぎこちなく配置されています。

ボードを裏返すと、最後の拡張オプションが表示されます。SOM の上端の下にほとんど目に見えないように隠された microSD スロット、802.11ac Wi-Fi モジュールが事前に実装された M.2 Key E スロット、および 2 つの拡張オプションです。それぞれ 4 つと 2 つの PCI Express (PCIe) Gen. 3 レーンを備えた M.2 Key M スロット - ただし、1 つは短い 2230 サイズのモジュールに限定され、もう 1 つは 2280 モジュールのみの取り付けポイントを提供することに注意してください。

NVIDIA の大きな見出しを集めた主張は、Jetson Orin Nano は、古くてかなり安価な Jetson Nano に比べて「80 倍の AI パフォーマンス」を実現するというものです。これは技術的には真実ですが、大きな注意点があります。 NVIDIA の計算は、Jetson Nano では FP16 精度、Jetson Orin Nano では INT8 精度を使用した生の計算に基づいています。 両方のデバイスで FP32 精度を使用すると、同等の条件でゲインが 80 倍から依然として印象的な 5.4 倍に低下します。ただし、INT8 精度のサポートが大きな理由となるため、INT8 と FP16 は依然として合理的な比較となります。新しいデバイスにアップグレードします。

ただし、INT8 のサポートに対する向上がないというわけではありません。結局のところ、FP32 の 5.4 倍の向上はどこかから来ている必要があります。 新しい、より強力な GPU アーキテクチャへの切り替えに加えて、Jetson Orin Nano には、Jetson Nano の 8 倍の CUDA コアと 32 個の Tensor コアが搭載されています。 また、プロセッサは新しい Arm Cortex アーキテクチャに移行し、わずかに速いクロック速度で動作する 2 つの追加コアを誇り、LPDDR5 への移行によりメモリが 2 倍になり、2.5 倍以上の帯域幅を提供します。

一言で言えば、Jetson Orin Nano は野獣ですが、その過程でいくつかの犠牲が払われました。 Jetson Nano と同様、ハイエンドの NX および AGX モデルには、NVIDIA ディープ ラーニング アクセラレータ (NVDLA) やプログラマブル ビジョン アクセラレータ (PVA) はありません。 奇妙なことに、Jetson Orin Nano には Jetson Nano のハードウェア ビデオ エンコーダである NVENC も欠如しています。これは、Orin アーキテクチャをエントリー レベルに近づけるために犠牲になったと NVIDIA が語ります。 その結果、Jetson Orin Nano は 1080p30 を超えるビデオ ストリームをリアルタイムでエンコードすることはできません。ただし、6 つの強力な CPU コアにより、必要に応じて最大 3 つのストリームを同時に処理できます。ただし、最大 8 つの 1080p30 ストリームと比較して、 1 つの 4k60 ストリーム、それ以外の場合ははるかに強力ではない Jetson Nano を使用します。

Jetson Orin Nano が実際に焦点を当てているのは、当然のことながらデバイス上のエッジ AI であり、ここで GPU を大量に使用する SOM が輝きます。 NVIDIA の ActionRecognitionNet 3D や PeopleNet v2.5 など、Jetson Nano ではまったく使用できなかったネットワークが、突然使用できるようになりました。ActionRecognitionNet 3D は、Jetson Nano では 1 フレーム/秒 (FPS) でしたが、Jetson Orin Nano では 26 FPS になりました。 2D バリアントは 32 FPS から 368 FPS に。 BodyPoseNet は 3 FPS から 136 FPS に向上します。 PeopleNet v2.5 は 2 FPS から 116 FPS に向上します。 一方、ベンチマークのナンバー プレート認識 (LPR) ネットワークは、新しいハードウェアでは 47 FPS から 1,000 FPS 以上に上昇し、スケーリングに歪みが生じたため、上のグラフから除外されました。

これは、12 倍から 59 倍のパフォーマンス向上に相当します。ハードウェアの生のパフォーマンスによるものもあれば、INT8 精度のサポートによるものもあります。 効率性も失われていません。 新しいハードウェアにはアクティブな冷却が必要な場合がありますが、驚くほど静かなヒートシンクとモジュールにプレインストールされたファン アセンブリの形で提供されますが、Jetson Orin Nano 8GB は 15W のフルパフォーマンス モードと 7W の省電力モードで構成可能です。 Jetson Nano の 5W および 10W モード。 キャリア ボードを Wi-Fi ネットワーク、DisplayPort モニタ、ワイヤレス キーボードとマウスに接続して壁に置いて測定したところ、アイドル時で 4 W、負荷時でピーク時に約 17 W となり、バンドルされている 45 W 電源の能力の範囲内に十分収まります。

Jetson Orin Nano は、Ubuntu Linux をベースとし、以前は Linux 4 Tegra (L4T) として知られていた NVIDIA の組み込みソフトウェア スタックである JetPack を実行するように設計されています。 レビューユニットのすべてのテストは、いくつかの小さなバグを伴う JetPack 5.1.1 のプレリリース バージョンで実行されました。その中には、利用可能なシステム メモリが物理 8 GB のうち 6.3 GB に制限されるバグも含まれていましたが、同社はこの問題は解決されると保証しています。ごく近い将来に。

JetPack 5.1.1 は Ubuntu 20.04.5 長期サポート (LTS) に基づいており、CUDA 11.4、TensorRT 8.5、cuDNN 8.6、VPI 2.2、Vulkan 1.3、Nsight Systems 2022.5、および Nsight Graphics 2022.6 が付属しています。 何年も経っても、デバイス上でネットワークをトレーニングする方法は提供されていません。 Jetson Orin Nano では、複雑なネットワークを展開して優れたパフォーマンスで実行することもできますが、トレーニングはすべてオフデバイスで行う必要があります。これは、手頃な価格のオールインワン製品で簡単に手に入るデバイスにとって、大きなかつ継続的な欠点です。 AIの開発と実験のためのワークステーション。

この問題を解決する一般的な方法は、NVIDIA の高出力高性能グラフィックス カードの 1 つを搭載したデスクトップ クラスのデバイスを使用することです。 代替案は、NVIDIA 独自の GPU クラウド (NGC) を含むクラウド コンピューティングに移行し、トレーニング セッションの合間にアイドル状態になっている可能性があるときに自分でハードウェアを使い果たす必要を避けるために、他人のハードウェアへのアクセスをレンタルすることです。 いずれにせよ、Jetson Orin Nano は、他のすべての Jetson ファミリ デバイスと同様に、トレーニングを高速化する Train-Adapt-Optimize (TAO) ツールキットや合成データセット生成用の Omniverse Replicator などの優れたソフトウェア スタックによってサポートされています。 NGC 上のクラウドでの実行を選択した場合は、展開またはカスタマイズの準備ができた、事前トレーニングされたモデルのホストにアクセスすることもできます。

Jetson シリーズの他のモデルと同様、開発とテストを深く行うほど、microSD カード ストレージの制限に早く到達します。 Jetson Orin Nano には eMMC サポートはありませんが、キャリア ボードの下側に 2 つの M.2 Key M PCI Express (PCIe) スロットがあり、どちらかまたは両方に高速不揮発性メモリ エクスプレス ( NVMe) 大容量ストレージ用ソリッド ステート ドライブ。 3 番目の M.2 Key E スロットもありますが、これには、キャリア ボードの一方の端にある 1 対の PCB アンテナに接続された Wi-Fi モジュールがあらかじめ装着されています。

Jetson Orin Nano 開発者キットは、間違いなくオリジナルの Jetson Nano 開発者キットの後継者としてふさわしいものです。 完全に平等な競争条件で見たとしても、それは数倍高速であり、INT8 サポートを考慮すると、信じられないほどパフォーマンスが向上します。 一時停止の原因となるのはハードウェア ビデオ エンコードの損失のみですが、1080p30 を超えるか 2 つの同時ストリームが必要でない限り、ソフトウェア エンコードを使用しても問題ないでしょう。

そのパフォーマンスには文字通りコストがかかります。 Jetson Nano 4GB 開発者キットは、発売時の 99 ドルから現在 149 ドルに値上げされた可能性がありますが、それでも、NVIDIA が Jetson Orin Nano 開発者キットを発売したときの 499 ドルよりははるかに安いです。 パフォーマンスが大幅に向上していることを考えると、価格差がどこにあるのかは簡単にわかりますが、Nano という接尾辞は、衝動買いに近い価格帯のメーカー向けの製品を示すものから、潤沢な資金を持つ企業以外の人にとって、より熟慮された購入決定を示すものへと変化しています。研究開発タイプ。

少なくとも教育者には割引があり、キットの価格は 499 ドルから 399 ドルになります。 それでも、パフォーマンスに大きな差があるにもかかわらず、大金を掛けずにエッジ AI の背後にある核となるコンセプトを紹介するのに十分な計算能力を提供するため、多くの人がより安価な Jetson Nano 開発者キットを選択する可能性があります。 一方、最高のパフォーマンスを必要とするユーザーは、より強力な Jetson AGX Orin 開発者キットを代わりに使用する可能性があります。

予算が限られている場合でも、Jetson Orin Nano 開発者キットは期待を裏切りません。 ハードウェアが増えすぎて困っている人にとって、既存のキャリア ボードに Jetson Orin NX モジュールをドロップするオプションがあるのは素晴らしいことですが、NVIDIA が Jetson Orin Nano 4GB SOM バリアントとのコスト削減されたバンドルを提供してくれればさらに良いでしょう。 。

Jetson Orin Nano 開発者キットは、公式 Jetson ストアから 499 ドルで注文できるようになりました。