Le minuscule Nvidia Jetson Xavier NX ressemble un peu à un Raspberry Pi, mais il est bien plus puissant.
Dernier membre de la famille grandissante d'intelligence artificielle de Nvidia, le Jetson Xavier NX a à peu près la taille d'une carte de crédit et est conçu pour être monté sur un robot pour lui servir de cerveau.
Ne vous laissez pas tromper par sa petite taille.
L'appareil à 399 $, maintenant disponible en kit pour les développeurs d'IA, dispose d'un puissant processeur graphique construit sur la dernière microarchitecture GPU Volta de Nvidia, avec des centaines de cœurs de traitement qui lui permettent d'accepter plusieurs flux de données et de les traiter simultanément avec des réseaux de neurones séparés.
C'est la plate-forme idéale pour tester un robot complexe, explique Nvidia.
Avec le kit de développement Jetson Xavier NX sous Linux servant de cerveau, le bot pourrait avoir plusieurs caméras pour détecter les expressions des humains à proximité, ainsi que des microphones pour écouter leurs commandes et répondre de manière appropriée.
Au total, le processeur graphique du Jetson Xavier NX peut décoder simultanément quatre flux de vidéo 4K à 30 images par seconde (fps), ou un énorme 32 flux simultanés de vidéo Full HD (1080p) à 30fps.
Le système dispose de 384 cœurs CUDA et 48 cœurs Tensor disponibles pour exécuter les réseaux neuronaux qui traitent ces flux.
Le résultat est qu'un robot de livraison propulsé par un Xavier NX peut éviter les collisions, planifier son chemin sur le trottoir, identifier les objets et répondre aux requêtes des humains, le tout en même temps.
Réseaux de neurones basés sur le cloud pour les robots terrestres
Aucune de ces capacités n'est bien sûr terriblement révolutionnaire.
Les robots de livraison sillonnent les rues des grandes villes depuis quelques années maintenant, tandis que d'autres fabriquent des pizzas et patrouillent dans les allées des épiceries.
Mais ces types de robots appartiennent généralement à des entreprises bien financées avec de nombreux experts formés au MIT pour perfectionner leurs réseaux d'intelligence artificielle et les dépanner lorsqu'ils sont inévitablement déclenchés par des bogues logiciels.
Avec le Jetson Xavier NX et un peu d'aide de l'informatique en nuage, beaucoup plus de gens peuvent s'essayer à la construction de robots et d'autres applications d'IA.
Le nouveau module, comme d'autres de la famille Nvidia Jetson, supprime le modèle monolithique traditionnel d'ingénierie de l'IA, dans lequel des équipes d'experts passent des mois ou des années à construire et à affiner plusieurs réseaux de neurones, puis à les déployer tous en même temps.
C'est l'équivalent de devoir mettre à jour le système d'exploitation de votre iPhone à chaque fois qu'il y a une nouvelle version de l'application Spotify.
Au lieu de cela, le Jetson Xavier NX permet aux développeurs de créer et d'affiner plusieurs réseaux de neurones différents pour effectuer différentes tâches et les déployer dès qu'ils sont prêts.
C'est un changement de paradigme dans le monde du développement de l'IA, dit Nvidia.
Les développeurs peuvent créer leurs applications dans le cloud, sur un ordinateur de bureau ou sur n'importe quel kit de développement Jetson, puis les contenir pour les installer sur un robot ou partout ailleurs.
Plus de 3000 clients utilisent les modules de production Jetson AI existants de Nvidia, principalement le plus grand Jetson TX2, basé sur l'architecture GPU Pascal antérieure de la société.
La société s'attend à ce que beaucoup d'entre eux migrent vers le Jetson NX pour de futurs projets d'IA.
Test d'un robot virtuel Jetson Xavier NX
Nvidia nous a envoyé la version du kit de développement du Jetson Xavier NX à tester, ainsi qu'une collection pré-écrite de réseaux de neurones qui simule ce que les développeurs pourraient créer pour alimenter un robot.
Le kit de développement comprend le Xavier NX lui-même ainsi que de la mémoire, des ports USB, un emplacement pour carte microSD et d'autres équipements familiers qui transforment le module de calcul AI en un ordinateur à part entière exécutant Linux.
Manquant de temps ou d'expertise pour construire réellement un robot physique avec des capteurs et une transmission, j'ai plutôt utilisé des exemples de séquences vidéo fournies par Nvidia et qui se rapprochent de ce qu'un robot du service client pourrait rencontrer au cours de ses tournées.
Ces robots doivent identifier les humains, comprendre ce que demande un client et fournir des réponses utiles, ce qui nécessite de nombreuses caméras et capteurs ainsi que des compétences en IA pour analyser leurs entrées.
Les compétences comprennent la détection du regard (pour voir quand quelqu'un le regarde), la reconnaissance vocale et le traitement du langage naturel pour comprendre et répondre aux questions.
La séquence d'échantillons imite un robot exécutant simultanément quatre de ces compétences.
Une fois que le Jetson Xavier NX est connecté à un moniteur externe et exécute la démo, voici ce que voit le robot virtuel:
Le quadrant supérieur gauche détecte les personnes à partir de quatre flux de caméra simultanés, identifiant le nombre de personnes dans chaque flux.
Le quadrant inférieur gauche est un réseau de neurones qui peut deviner la pose de quelqu'un, de sorte qu'il sache si une personne pointe un produit spécifique sur une étagère de magasin ou fait signe au robot de le suivre, par exemple.
Le quadrant inférieur droit indique où les gens regardent - chaque fois que quelqu'un regarde le robot, les cases autour des yeux de la personne deviennent vertes, ce qui incite le robot à lui demander s'il a besoin d'aide.
Enfin, le quadrant supérieur droit simule la détection de la parole et le traitement du langage naturel à l'aide du protocole BERT développé par Google.
La démonstration contient des sujets préchargés fournis par Nvidia, notamment des anecdotes sur la NFL et des instructions pour le discours d'ouverture lors de la conférence annuelle des développeurs de la société.
Posez une question à l'aide d'un microphone USB branché sur le kit de développement Jetson Xavier NX, et le modèle tentera de trouver la réponse à partir du sujet pré-rempli.
Ajuster les réseaux de neurones en temps réel
Pour rendre les choses plus intéressantes et simuler les mises à jour en temps réel d'un réseau de neurones pendant que les autres sont toujours en cours d'exécution, j'ai abandonné l'exemple BERT de Nvidia et créé un nouveau sujet en copiant le texte standard trouvé au bas de chaque page sur Daxdi.com, y compris celui que vous lisez maintenant.
J'ai pu créer et déployer le nouveau sujet pendant que le Jetson Xavier NX était occupé à analyser les trois autres quadrants, à détecter les humains, les regards et les gestes.
Parlez de multitâche!
La mise à jour s'est avérée être un succès.
Lorsque j'ai demandé "Que propose Daxdi?" le robot virtuel a répondu: Des examens indépendants basés sur des laboratoires des derniers produits et services.
Il n'était que 46% confiant dans sa réponse - peut-être parce que j'avais omis la partie .com - mais il n'avait pas besoin de s'inquiéter.
Cette démo simple est un jeu d'enfant par rapport aux robots commerciaux sophistiqués comme Temi ou aux assistants vocaux commerciaux finement optimisés comme Siri ou Alexa.
Mais des démos similaires peuvent être téléchargées sur Internet, installées sur le Jetson Xavier NX et personnalisées, permettant à toute personne ayant des compétences de base en programmation et quelques centaines de dollars de rechange de se plonger dans le monde des robots intelligents.
