Robotprotheses AI verwerkt computervisie in NC State-onderzoek

 

 

Beeldvormingsapparaten bieden een milieucontext voor robotprotheses. (a) Configuratie met een bril met behulp van een Tobii Pro Glasses 2 eye tracker. b) Gegevensverwervingsinrichting onder de ledematen. c) en d) Voorbeeldframes van de camera's voor de twee configuraties. e) en f) Voorbeeld van de experimentele omgeving en terreinen. Credit: Edgar Lobaton, NC State

Aangezien bionische ledematen vaak niet kunnen vertrouwen op spiercontracties of zenuwimpulsen om te bewegen zoals een normale armen of benen zouden doen, hebben ze begeleiding nodig van kunstmatige intelligentie. North Carolina State University onderzoekers zeiden dat ze software die kan werken met bestaande robotprotheses of exoskeletten om mensen te helpen lopen natuurlijker en veilig over een verscheidenheid van terrein ontwikkeld.

Het nieuwe softwareframework bevat computervisie in prothesebeencontrole en bevat robuuste AI-algoritmen om beter rekening te houden met onzekerheid.

"Lagere ledematen robotprotheses moeten verschillende gedragingen uitvoeren gebaseerd op het terrein waarop de gebruikers wandelen" verklaarde Edgar Lobaton, co-auteur van een paper over de studie en een universitair hoofddocent elektro-en computer engineering aan de North Carolina State University (NC State). "Het kader dat we hebben gemaakt, stelt de AI in robotprothesen in staat om te voorspellen op welk type terrein gebruikers zullen stappen, de onzekerheden die aan die voorspelling gepaard gaan, kwantificeren en die onzekerheid vervolgens opnemen in de besluitvorming."

Het ontwikkelen van een 'milieucontext' voor robotprotheses

De onderzoekers richtten zich op het onderscheid tussen zes verschillende terreinen die aanpassingen in het gedrag van een robotprothese vereisen: tegel, baksteen, beton, gras, "boven" en 'beneden'.

"Als de mate van onzekerheid te hoog is, is de AI niet gedwongen om een twijfelachtige beslissing te nemen - het kan in plaats daarvan de gebruiker op de hoogte stellen dat het niet genoeg vertrouwen in zijn voorspelling heeft om op te treden, of het kan standaard een 'veilige' modus aannemen" zei Boxuan Zhong, hoofdauteur van het papier en een recente Ph.D. afgestudeerde van NC State.

Het nieuwe "milieucontext"-framework bevat zowel hardware- als software-elementen. De onderzoekers ontwierpen het raamwerk voor gebruik met een robotachtig exoskelet of robotachtig protheseapparaat, maar met één extra stukje hardware: een camera.

In hun studie gebruikten de onderzoekers camera's op brillen en camera's die op de prothese van de onderste ledematen zelf waren gemonteerd. De onderzoekers evalueerden hoe de AI gebruik kon maken van computer vision data van beide soorten camera's, afzonderlijk en bij gebruik samen.

"Integratie van computer visie in de controle software voor draagbare robotica is een spannend nieuw gebied van onderzoek," zei Helen Huang, een co-auteur van het papier. "We vonden dat het gebruik van beide camera's goed werkte, maar het vereist een groot deel van de rekenkracht en daardoor lopen de kosten hoog op. We vonden echter ook dat het gebruik van alleen de camera gemonteerd op de onderste ledemaat vrij goed werkte - met name voor de korte termijn voorspellingen, zoals wat het terrein zou zijn voor de volgende stap of twee."

Huang is ook de Jackson Family Distinguished Professor of Biomedical Engineering in de Joint Department of Biomedical Engineering aan de NC State en de University of North Carolina in Chapel Hill.

Model kan andere deep learning-toepassingen ten goede komen

De belangrijkste vooruitgang van het controlemodel zou de relevantie ervan voor AI kunnen zijn.

"We kwamen met een betere manier om deep-learning systemen te leren hoe onzekerheid te evalueren en te kwantificeren op een manier die het mogelijk maakt voor het systeem om onzekerheid op te nemen in de besluitvorming," zei Lobaton. "Dit is zeker relevant voor robotprotheses, maar ons werk hier kan worden toegepast op elk type deep-learning systeem."

Om het AI-systeem te trainen, koppelden onderzoekers de camera's aan gezonde individuen, die vervolgens door verschillende binnen- en buitenomgevingen liepen. De onderzoekers deden toen een proof-of-concept evaluatie door personen waarvan de onderste ledematen geamputeerd zijn hetzelfde traject af te laten leggen met behulp van camera's. "We vonden dat het model op de juiste manier kan worden overgedragen, zodat het systeem kan werken met onderwerpen uit verschillende populaties," zegt Lobaton. 

Frameworks moeten nog getest worden op een robotprothese

Het nieuwe framework is echter nog niet getest in een robotapparaat. "We zijn verheugd om het kader op te nemen in het besturingssysteem voor het werken met robotprotheses - dat is de volgende stap," zei Huang.

"En we zijn ook van plan om te werken aan manieren om het systeem efficiënter te maken, in termen van minder visuele gegevensinvoer en minder gegevensverwerking," aldus Zhong.

Het artikel "Environmental context prediction for lower limb protheses with uncertainty quantification" werd gepubliceerd in: IEEE Transactions on Automation Science and Engineering. Het document heeft als mede-auteurs Rafaël da Silva,  Ph.D. student bij NC State;, en Minhan Li, Ph.d. student in de Joint Department of Biomedical Engineering.