Apple ha pubblicato una nuova ricerca nel suo blog dedicato al machine learning che presenta EMBridge, un sistema basato su intelligenza artificiale capace di riconoscere gesti della mano anche quando non fanno parte del dataset originale di addestramento. Lo studio, intitolato EMBridge: Enhancing Gesture Generalization from EMG Signals through Cross-Modal Representation Learning, sarà presentato durante la conferenza ICLR 2026 prevista per aprile.
Il progetto si basa sull'utilizzo dell'elettromiografia (EMG), una tecnologia che misura l'attività elettrica generata dai muscoli durante la contrazione. L'EMG viene tradizionalmente utilizzata in ambito medico, ad esempio per diagnosi neurologiche, fisioterapia e controllo delle protesi.
Qual è l'obiettivo di questa ricerca di Apple sull'IA?
L'obiettivo della ricerca Apple era sviluppare un modello in grado di interpretare i segnali muscolari e riconoscere movimenti della mano anche se non erano presenti nei dati utilizzati per l'addestramento iniziale. Per raggiungere questo risultato, i ricercatori hanno creato EMBridge, un framework di apprendimento multimodale progettato per collegare i segnali EMG ai dati strutturati che descrivono la posizione delle mani.
Per addestrare il sistema sono stati utilizzati due grandi dataset. Il primo è emg2pose, una raccolta open source che contiene circa 370 ore di dati EMG sincronizzati con informazioni sulla posizione della mano provenienti da 193 partecipanti.
Questo dataset include oltre 80 milioni di etichette di movimento, registrate tramite un sistema di motion capture ad alta precisione. Il secondo dataset utilizzato è NinaPro, una raccolta molto diffusa nella ricerca sulle protesi e sulle interfacce neurali, che include decine di gesti della mano.
Ulteriori dettagli sul modello EMBridge
Il modello EMBridge è stato inizialmente addestrato separatamente sui segnali EMG e sui dati relativi alla postura della mano. Successivamente i ricercatori hanno allineato queste due rappresentazioni, permettendo al sistema di imparare a riconoscere i gesti basandosi esclusivamente sui segnali muscolari.
Il processo di addestramento ha incluso anche una tecnica chiamata "masked pose reconstruction", in cui parti dei dati sulla posizione della mano vengono nascoste e il modello deve ricostruirle utilizzando solo le informazioni provenienti dall'EMG.
Secondo gli autori dello studio, EMBridge rappresenta il primo framework capace di ottenere una classificazione dei gesti "zero-shot", ovvero il riconoscimento di movimenti mai visti prima, utilizzando segnali EMG provenienti da dispositivi indossabili.
