ComText laat collaboratieve robots context van spraakopdrachten begrijpen

Een nieuw systeem geeft gebruikers de mogelijkheid collaboratieve robots aan te sturen met behulp van spraakopdrachten. Het systeem heet ComText en is ontwikkeld door het Computer Science and Artificial Intelligence Lab van het Massachusetts Institute of Technology (MIT).

ComText staat voor ‘commands in context’ en verwijst naar het vermogen van het systeem om contextuele opdrachten te begrijpen. Dit vermogen maakt mogelijk robots op een natuurlijkere wijze via spraakopdrachten aan te sturen. Zo kunnen gebruikers verwijzen naar eerder genoemde objecten, zodat zij niet continu hetzelfde object opnieuw hoeven te definiëren.

ComText laat collaboratieve robots context begrijpen (bron foto: Tom Buehler/MIT CSAIL)

ComText laat collaboratieve robots context begrijpen (bron foto: Tom Buehler/MIT CSAIL)

Specifiek gereedschap opzoeken

Een voorbeeld is een stuk gereedschap dat een collaboratieve robot met enige regelmaat aan moet reiken aan een gebruiker. De gebruiker kan in dit geval tegen de robot zeggen: ‘het gereedschap dat ik vast heb is mijn gereedschap’. Indien de gebruiker in het vervolg zegt ‘geef mij mijn gereedschap’, weet de robot welk gereedschap hij moet zoeken en geeft hij dit specifieke gereedschap aan.

In de onderstaande video wordt het systeem in combinatie met een Baxter collaboratieve robot van Rethink Robotics gedemonstreerd. Hierin in te zien dat het systeem niet alleen verwijzen naar eerder genoemde objecten en opdrachten kan begrijpen, maar ook naar handelingen die de gebruiker heeft uitgevoerd.

Semantisch en episodisch geheugen

Het systeem kan context begrijpen dankzij het gebruik van twee soorten geheugen: semantisch geheugen en episodisch geheugen. Semantisch geheugen maakt het mogelijk algemene kennis op te slaan, zoals ‘de lucht is blauw’ of ‘water is nat’. Episodisch geheugen wordt ingezet om gebeurtenissen vast te leggen, zoals welk object het gereedschap is van de gebruiker of welk object een gebruiker op een tafel heeft neergelegd.

ComText is tijdens praktijktesten erin geslaagd 90% van de spraakopdrachten juist te interpreteren en uit te voeren. Het team hoopt het systeem in de toekomst slimmer te kunnen maken en ondermeer te leren meerlaagse opdrachten te gebruiken, het doel van bepaalde acties te analyseren en eigenschappen van objecten te gebruiken om hiermee op een natuurlijkere wijze interactie te kunnen hebben. Meer informatie is hier beschikbaar.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *