Blog

May 25, 2023

Jetson bekommt einen Raketenschub: Hände

Es ist sechs Monate her, seit Jensen Huang von NVIDIA die Bühne der GPU betrat

Es ist sechs Monate her, seit Jensen Huang von NVIDIA die Bühne der GPU Technology Conference (GTC) '22 betrat und das leistungsstarke, stromsparende System-on-Module (SOM) Jetson Orin Nano vorstellte, das auf künstliche Intelligenz (KI) abzielt die Kante. Jetzt ist GTC '23 – und Huang ist zurück auf der Bühne und bringt dieses Mal das Jetson Orin Nano Developer Kit-Bundle mit sofortiger Verfügbarkeit auf den Markt.

Der neue Jetson Orin Nano bietet angeblich das „80-fache“ der Leistung des Jetson Nano und soll die Orin-GPU-Architektur der neuesten Generation des Unternehmens auf die Einstiegsebene bringen – aber kann er die hohen Versprechen des Unternehmens einhalten?

Der Jetson Orin Nano SOM ist tatsächlich in zwei Varianten erhältlich, wobei die eine effektiv die halbe Leistung der anderen bietet. Der Jetson Orin Nano 4 GB der Einstiegsklasse verfügt, wie der Name schon sagt, über 4 GB LPDDR5-Speicher mit 32 GB/s Bandbreite, eine Sechskern-Arm-Cortex-A78AE-CPU mit bis zu 1,5 GHz und eine Orin-GPU mit 512 CUDA-Kernen 16 Tensorkerne bieten angeblich 20 Tera-Operationen pro Sekunde (TOPS) der INT8-Rechenleistung. Der Jetson Orin Nano 8GB hingegen verdoppelt sowohl die Kapazität und Bandbreite des On-Board-Speichers als auch die Anzahl der CUDA-Kerne und Tensor-Kerne in der GPU, lässt die CPU jedoch in Ruhe und liefert angeblich 40 TOPS.

Für diejenigen, die das Developer Kit kaufen möchten, ist der Unterschied irrelevant: Es ist nur mit dem vorab gebündelten Jetson Orin Nano 8 GB erhältlich. Die Trägerplatine, in der das SOM praktischerweise vorinstalliert wurde, akzeptiert technisch gesehen entweder SOM oder sogar eines der High-End-SOMs von Jetson Orin NX – aber auch das ist umstritten, da Sie die Trägerplatine nicht außerhalb kaufen können das Developer Kit-Bundle.

Das kompakte Trägerboard selbst bringt die wichtigsten Funktionen des Jetson Orin Nano SOM zum Vorschein. Es gibt einen einzelnen DisplayPort 1.2-Videoausgang, vier USB 3.2 Gen. 2 Typ-A-Anschlüsse, einen Gigabit-Ethernet-Anschluss und einen USB-Typ-C-Anschluss – nicht für die Stromversorgung, die über ein mitgeliefertes 45-W-Netzteil und eine Gleichstrombuchse erfolgt, sondern zum Debuggen und zum Betrieb von USB-Geräten.

Links neben den Hauptanschlüssen befinden sich zwei 22-polige MIPI Camera Serial Interface (CSI)-Anschlüsse, die anstelle oder zusätzlich zu USB-Kameras verwendet werden können. Auf der rechten Seite befindet sich ein bestückter 40-Pin-GPIO-Header (General Purpose Input/Output), der UART, SPI, I2C, I2S und Pulsweitenmodulation (PWM) unterstützt. Es gibt auch einen geschwindigkeitsgesteuerten PWM-Anschluss für den mitgelieferten Kühlkörper und Lüfter sowie einen 12-Pin-Anschluss für die externe Tastensteuerung – etwas ungünstig unter der Oberkante des SOM positioniert.

Wenn Sie die Platine umdrehen, finden Sie die letzten Erweiterungsoptionen: einen microSD-Steckplatz, der nahezu unsichtbar unter der Oberkante des SOM versteckt ist, einen M.2 Key E-Steckplatz, der bereits mit einem 802.11ac-WLAN-Modul bestückt ist, und zwei M.2 Key M-Steckplätze mit vier bzw. zwei PCI Express (PCIe) Gen. 3-Lanes – beachten Sie jedoch, dass einer auf kurze Module der Größe 2230 beschränkt ist, während der andere nur einen Montagepunkt für 2280-Module bietet.

NVIDIAs schlagzeilenträchtige Behauptung ist, dass der Jetson Orin Nano „80-mal mehr KI-Leistung“ als der ältere und deutlich günstigere Jetson Nano liefert – und das stimmt technisch gesehen, allerdings mit einem großen Vorbehalt. Die Berechnungen von NVIDIA basieren auf Rohberechnungen mit FP16-Präzision beim Jetson Nano, aber INT8-Präzision beim Jetson Orin Nano. Bei Verwendung der FP32-Präzision auf beiden Geräten sinkt der Gewinn für gleiche Wettbewerbsbedingungen von 80x auf immer noch beeindruckende 5,4x – obwohl der Vergleich zwischen INT8 und FP16 immer noch sinnvoll ist, da die Unterstützung der INT8-Präzision ein wichtiger Grund sein wird um auf das neue Gerät zu aktualisieren.

Das heißt jedoch nicht, dass es gegenüber der Unterstützung für INT8 keinen Aufschwung gibt – schließlich muss dieser 5,4-fache FP32-Gewinn irgendwoher kommen. Neben der Umstellung auf eine neue und leistungsstärkere GPU-Architektur verfügt der Jetson Orin Nano über achtmal so viele CUDA-Kerne wie der Jetson Nano sowie zusätzlich 32 Tensor-Kerne. Der Prozessor ist außerdem auf eine neuere Arm-Cortex-Architektur umgestiegen, verfügt über zwei zusätzliche Kerne, die mit einer geringfügig schnelleren Taktrate laufen, und es gibt doppelt so viel Speicher, da der Wechsel zu LPDDR5 mehr als die zweieinhalbfache Bandbreite bietet.

Kurz gesagt, der Jetson Orin Nano ist ein Biest – aber auf dem Weg dorthin wurden einige Opfer gebracht. Wie beim Jetson Nano gibt es in den High-End-Modellen NX und AGX keine NVIDIA Deep Learning Accelerators (NVDLAs) oder Programmable Vision Accelerators (PVAs). Seltsamerweise fehlt dem Jetson Orin Nano auch der Hardware-Video-Encoder NVENC des Jetson Nano – ein Opfer, das laut NVIDIA gemacht wurde, um die Orin-Architektur näher an der Einstiegsklasse verfügbar zu machen. Daher ist der Jetson Orin Nano nicht in der Lage, einen Videostream über 1080p30 in Echtzeit zu kodieren, obwohl er dank seiner sechs leistungsstarken CPU-Kerne bei Bedarf bis zu drei Streams gleichzeitig verarbeiten kann – im Vergleich zu bis zu acht 1080p30-Streams ein 4k60-Stream, auf dem ansonsten deutlich schwächeren Jetson Nano.

Der eigentliche Fokus des Jetson Orin Nano liegt natürlich auf der On-Device-Edge-KI, und hier glänzt das GPU-lastige SOM. Netzwerke, die auf dem Jetson Nano völlig unbrauchbar waren, wie NVIDIAs ActionRecognitionNet 3D und PeopleNet v2.5, werden plötzlich nutzbar: ActionRecognitionNet 3D steigert sich von einem Bild pro Sekunde (FPS) auf dem Jetson Nano auf 26 FPS auf dem Jetson Orin Nano, mit dem 2D-Variante von 32 FPS auf 368 FPS; BodyPoseNet steigt von 3 FPS auf 136 FPS; und PeopleNet v2.5 steigert die Geschwindigkeit von zwei FPS auf 116 FPS. Ein Benchmark-Netzwerk zur Kennzeichenerkennung (LPR) wurde hingegen aus der obigen Grafik ausgeschlossen, da der Anstieg von 47 FPS auf über 1.000 FPS auf der neuen Hardware die Skalierung verzerrte.

Das entspricht einer Leistungssteigerung zwischen dem 12- und 59-fachen – teils aufgrund der reinen Leistung der Hardware, teils aufgrund der Unterstützung der INT8-Präzision. Auch die Effizienz ist nicht verloren gegangen. Während die neue Hardware möglicherweise eine aktive Kühlung erfordert – geliefert in Form einer überraschend leisen Kühlkörper- und Lüfterbaugruppe, die auf dem Modul vorinstalliert ist – ist der Jetson Orin Nano 8 GB in den Modi 15 W bei voller Leistung und 7 W bei reduzierter Leistung konfigurierbar 5W- und 10W-Modi des Jetson Nano. An der Wand gemessen, wobei die Trägerplatine mit einem Wi-Fi-Netzwerk, einem DisplayPort-Monitor und einer kabellosen Tastatur und Maus verbunden ist, beträgt die Leistung 4 W im Leerlauf und etwa 17 W Spitzenleistung unter Last – was deutlich innerhalb der Leistungsfähigkeit des mitgelieferten 45-W-Netzteils liegt.

Der Jetson Orin Nano ist für die Ausführung von JetPack konzipiert, dem eingebetteten Software-Stack von NVIDIA, der auf Ubuntu Linux basiert und früher als Linux 4 Tegra (L4T) bekannt war. Alle Tests des Testgeräts wurden mit einer Vorabversion von JetPack 5.1.1 durchgeführt, mit einigen kleineren Fehlern – darunter einem, der den verfügbaren Systemspeicher auf 6,3 GB der physischen 8 GB begrenzte, was das Unternehmen versichert, dass er behoben wird in sehr naher Zukunft.

JetPack 5.1.1 basiert auf Ubuntu 20.04.5 Long-Term Support (LTS) und wird mit CUDA 11.4, TensorRT 8.5, cuDNN 8.6, VPI 2.2, Vulkan 1.3, Nsight Systems 2022.5 und Nsight Graphics 2022.6 geliefert. Was es selbst nach all den Jahren nicht bietet, ist die Möglichkeit, Netzwerke auf dem Gerät zu trainieren. Während es möglich ist, selbst komplexe Netzwerke mit hervorragender Leistung auf dem Jetson Orin Nano bereitzustellen und auszuführen, muss das Training außerhalb des Geräts stattfinden – ein großer und anhaltender Nachteil für ein Gerät, das problemlos ein erschwingliches All-in-One-Gerät hätte sein können Workstation für KI-Entwicklung und Experimente.

Der typische Weg, das Problem zu lösen, ist die Verwendung eines Desktop-Geräts mit einer der leistungsstarken Hochleistungsgrafikkarten von NVIDIA. Eine Alternative besteht darin, auf Cloud-Computing umzusteigen, einschließlich NVIDIAs eigener GPU Cloud (NGC), und den Zugriff auf die Hardware anderer zu mieten, um zu vermeiden, dass Sie selbst Geld ausgeben müssen, wenn diese zwischen den Trainingssitzungen möglicherweise einfach nicht genutzt wird. In jedem Fall verfügt der Jetson Orin Nano – wie alle Geräte der Jetson-Familie – über einen beeindruckenden Software-Stack, der das Train-Adapt-Optimize (TAO) Toolkit zur Beschleunigung des Trainings und den Omniverse Replicator für die Generierung synthetischer Datensätze umfasst. Wer sich für die Ausführung in der Cloud auf NGC entscheidet, kann sogar auf eine Vielzahl vorab trainierter Modelle zugreifen, die zur Bereitstellung oder Anpassung bereit sind.

Wie bei anderen Modellen der Jetson-Reihe gilt: Je tiefer Sie in die Entwicklung und Tests eintauchen, desto eher stoßen Sie an die Grenzen des microSD-Kartenspeichers. Beim Jetson Orin Nano gibt es keine eMMC-Unterstützung, aber es gibt zwei M.2 Key M PCI Express (PCIe)-Steckplätze auf der Unterseite des Trägerboards – einer oder beide davon akzeptieren einen Hochgeschwindigkeits-Non-Volatile Memory Express ( NVMe) Solid-State-Laufwerk für Speicher mit hoher Kapazität. Es gibt auch einen dritten M.2 Key E-Steckplatz, allerdings ist dieser bereits mit dem Wi-Fi-Modul bestückt, das mit einem Paar PCB-Antennen an einer Kante der Trägerplatine verbunden ist.

Das Jetson Orin Nano Developer Kit ist mit Sicherheit ein würdiger Nachfolger des ursprünglichen Jetson Nano Developer Kit. Selbst wenn man völlig gleiche Wettbewerbsbedingungen betrachtet, ist es um ein Vielfaches schneller – und wenn man die INT8-Unterstützung mit einbezieht, bietet es einen Leistungsgewinn, den man gesehen haben muss, um es zu glauben. Lediglich der Verlust der Hardware-Videokodierung sollte Anlass zum Anhalten geben, aber wenn Sie nicht mehr als 1080p30 oder zwei gleichzeitige Streams benötigen, ist die Verwendung der Softwarekodierung wahrscheinlich in Ordnung.

Diese Leistung hat ihren Preis – im wahrsten Sinne des Wortes. Der Preis für das Jetson Nano 4GB Developer Kit ist zwar von 99 US-Dollar bei der Markteinführung auf heute 149 US-Dollar gestiegen, aber es ist immer noch viel günstiger als die 499 US-Dollar, für die NVIDIA das Jetson Orin Nano Developer Kit auf den Markt gebracht hat. Es ist leicht zu erkennen, wo der Preisunterschied liegt, wenn man die enorme Leistungssteigerung bedenkt, aber das Suffix „Nano“ führt vom Hinweis auf ein herstellerfreundliches Produkt mit einem nahezu impulsiven Preis zu einer wohlüberlegteren Kaufentscheidung für jedermann außer gut finanzierten Unternehmen Forschungs- und Entwicklungsarten.

Zumindest gibt es für Pädagogen einen Rabatt, der den Preis des Kits von 499 $ auf 399 $ erhöht. Selbst dann ist es wahrscheinlich, dass sich viele trotz des enormen Leistungsunterschieds für das günstigere Jetson Nano Developer Kit entscheiden, da es genug Rechenleistung bietet, um die Kernkonzepte hinter Edge AI zu demonstrieren, ohne die Bank zu sprengen. Diejenigen, die die allerbeste Leistung benötigen, werden sich wahrscheinlich stattdessen für das leistungsstärkere Jetson AGX Orin Developer Kit entscheiden.

Wenn das Budget knapp wird, wird Sie das Jetson Orin Nano Developer Kit nicht enttäuschen. Für diejenigen, denen die Hardware entwachsen ist, ist es schön, auch die Möglichkeit zu haben, ein Jetson Orin NX-Modul in Ihr bestehendes Trägerboard einzubauen, obwohl es noch schöner wäre, wenn NVIDIA ein kostenreduziertes Paket mit der Jetson Orin Nano 4GB SOM-Variante anbieten würde .

Das Jetson Orin Nano Developer Kit kann ab sofort für 499 US-Dollar im offiziellen Jetson Store bestellt werden.