Modulo di visione multimodale per piattaforme robotiche

STMicroelectronics e Leopard Imaging hanno presentato un modulo di visione multimodale progettato per robot umanoidi e sistemi robotici avanzati, integrando imaging, rilevamento della profondità e tracciamento del movimento in un’architettura compatta ed efficiente per sistemi di edge AI.

Percezione integrata per sistemi robotici
Il modulo risponde a una necessità chiave nella visione robotica: integrare più modalità sensoriali in una pipeline dati unificata e sincronizzata. Combinando imaging 2D, rilevamento della profondità 3D e misurazione inerziale del movimento, i robot possono interpretare l’ambiente con maggiore consapevolezza contestuale.

Questo approccio supporta applicazioni nella produzione industriale, nel settore automobilistico, nella logistica, nei magazzini e nella robotica di servizio, dove le macchine operano in ambienti dinamici e non strutturati. L’architettura si inserisce nell’evoluzione dell’automotive data ecosystem e della robotica industriale, dove la fusione dei sensori è essenziale per il processo decisionale in tempo reale.

Il modulo è progettato tenendo conto dei vincoli di dimensioni, peso e consumo energetico (SWaP) tipici dei robot umanoidi.

Integrazione nativa con l’ecosistema robotico NVIDIA
Una caratteristica fondamentale del modulo è la compatibilità con l’ecosistema robotico NVIDIA. L’integrazione della tecnologia NVIDIA Holoscan Sensor Bridge consente la trasmissione dati multi-gigabit tramite Ethernet, permettendo l’acquisizione in tempo reale dei dati dei sensori sulle piattaforme NVIDIA Jetson.

Questa architettura semplifica la progettazione dei sistemi grazie alla connettività plug-and-play e riduce la necessità di interfacce personalizzate. Il modulo è inoltre pienamente supportato dalla piattaforma NVIDIA Isaac, che offre modelli di IA, strumenti di simulazione e librerie di sviluppo.

La disponibilità di API, sistemi di build e algoritmi di IA preconfigurati accelera i cicli di sviluppo. Le funzionalità di simulazione, tra cui la domain randomization e i modelli di sensori, contribuiscono a ridurre il divario tra simulazione e implementazione reale.

Architettura di fusione sensoriale e specifiche tecniche
Il modulo integra tre principali tecnologie di rilevamento, ciascuna dedicata a un aspetto specifico della percezione robotica:

Sensore di visione - Il sistema integra il sensore di immagine VB1940 RGB-IR con risoluzione di 5,1 megapixel e supporto per modalità rolling shutter e global shutter. Questa combinazione consente di acquisire oggetti in rapido movimento senza distorsioni, mantenendo al contempo un’elevata qualità dell’immagine in diverse condizioni di illuminazione.

È disponibile anche una variante aggiuntiva, V943 della famiglia BrightSense, per applicazioni industriali e di largo consumo, in versione monocromatica o RGB-IR.

Sensore di movimento - Il rilevamento del movimento è affidato all’unità di misura inerziale LSM6DSV16X a 6 assi, che integra un core di machine learning (MLC). Questo consente l’elaborazione di IA direttamente sul dispositivo, insieme a funzionalità di fusione dei sensori a basso consumo (SFLP).

La tecnologia Qvar di rilevamento elettrostatico abilita inoltre funzionalità di interazione utente.

Sensore di profondità 3D - La percezione della profondità è garantita dal modulo LiDAR dToF VL53L9CX, che offre una portata fino a 9 metri. Opera con una risoluzione di 54 × 42 zone (circa 2.300 punti).

Con un campo visivo di 55° × 42° e una risoluzione angolare di circa 1°, consente il rilevamento di piccoli oggetti e la mappatura accurata dell’ambiente. La frequenza fino a 100 fps permette la ricostruzione 3D in tempo reale.

Accelerazione dello sviluppo dell’IA fisica
L’integrazione di sensori sincronizzati con trasmissione dati ad alta velocità consente ai robot di analizzare l’ambiente in tempo reale. Questa capacità è essenziale per i sistemi di IA fisica, dove percezione, decisione e azione devono avvenire con bassa latenza.

Standardizzando l’integrazione dei sensori all’interno dell’ecosistema NVIDIA, il modulo riduce la complessità dello sviluppo e supporta la scalabilità delle applicazioni robotiche. La combinazione di hardware, software e strumenti di simulazione accelera i cicli di sviluppo e validazione.

Questo sviluppo riflette una tendenza più ampia verso piattaforme integrate di sensori e calcolo, dove interoperabilità e coerenza dei dati sono elementi fondamentali per il progresso dei sistemi autonomi e semi-autonomi.

Modificato dalla giornalista industriale Sucithra Mani con il supporto dell'IA.

www.st.com