Ongestructureerde voorwerpen pakken

Tijdens het schrijven van dit artikel is de beurs “AgriFoodTech 2017” aanstaande. Deze jonge beurs laat zien dat er nog een hoop te automatiseren is in de land- en tuinbouw. Naast de diverse mechanische innovaties is er ook voortgang op het gebied van Vision. Het van nature complexe ‘random binpicking’ begint langzaam aan gemeengoed te worden. Er zijn diverse algoritmen, al dan niet op basis van ‘deep learning’, die hun weg steeds vaker naar eindgebruikers vinden. Ook in de wereld van de ‘AgriFood’ is hier een grote behoefte, maar dan wel in de variant ‘ongestructureerd’.

Wat wordt er bedoeld?
Producten die willekeurig in een bak gegooid zijn, is toch ook ‘ongestructureerd’? En verschillende voorwerpen door elkaar? Klopt allemaal, maar daar gaat het niet om. Met ongestructureerd worden voorwerpen bedoeld waarvan niet van te voren vast staan hoe ze er nu precies uitzien. Dat kunnen vervormbare objecten zijn of, in dit geval, ‘natuurlijke’ producten zoals bloemen en vruchten. Eigenlijk alles waarvan je redelijkerwijs geen CAD-bestand kunt verwachten.

En daar ligt de grote uitdaging. Bestaande oplossingen zijn wel in staat om bijvoorbeeld een paprika te identificeren en een 2D-plaatsbepaling te doen, “waar ligt ie op de transportband”. De oriëntatie, zelfs in 2D, is al een wat grotere uitdaging, maar nog wel een soort van behapbaar. Een van de problemen is het “elkaar raken” van voorwerpen. Veel vision software is er dan ook opgericht om te kunnen omgaan met voorwerpen die elkaar raken. De meeste zijn gebaseerd op contour herkenning. Maar dat is niet toepasbaar als er van tevoren geen contour beschikbaar is en al helemaal niet als dat contour ook nog eens van werkafstand afhankelijk is. Werkafstand is dan niet de afstand van camera tot aan de transportbaan, maar de afstand van de te meten contour naar de camera. Die is namelijk afhankelijk van de objecthoogte. Een ‘modernere’ aanpak gebruikt een deeplearningalgoritme om objecten van elkaar te scheidden, waarna een meetalgoritme de positie en oriëntatie kan gaan bepalen.

Alternatieven
Deep learning vereist een zeer groot aantal beelden van de betreffende voorwerpen waarin is aangegeven wat tot het voorwerp behoort en wat niet. Met ‘zeer groot aantal’ bedoelen we duizenden, honderdduizenden of wel miljoenen beelden, die dus allemaal gemarkeerd dienen te zijn. Wie gaat dat in de praktijk doen? Je hebt wel een dienst, “Amazon Mechanical Turk”, waar je je beelden naar toe kunt sturen. Hier markeren mensen voor een habbekrats je beelden. Maar praktisch is het niet.

Met ‘ouderwets’ gezond boerenverstand kun je er ook komen. Om werkafstand problemen het hoofd te bieden, maak je simpelweg een 2.5D-beeld. Dat is een 3D-beeld, maar dan van slechts 1 aanzicht. Nu hoor ik U denken: “Maar 3D da’s toch erg zwaar en moeilijk?”. Klopt. Maar je hoeft niet in volledig 3D te werken. Het 2.5D-beeld is gewoon een “plat” 2D-plaatje, waarin de grijswaarden de hoogte voorstellen. De kleur is dan diepte. Hiermee kun je dus alle 2D-processingtools gebruiken. Je combineert dus de 3D met de 2D-wereld. Op deze manier kun je gestapelde objecten van elkaar scheidden door het kiezen van een “kleurendrempel”.

De praktijk
In figuur 1 staat een robot afgebeeld met aan zijn toolflens een intelligente camera. Deze ‘Smart Camera’ van het type iAVS/TI-32 van van Rooij Electronics Design & Software Engineering is aangepast om lasertriangulatie te doen en kan 2.5D-beelden opnemen en tevens verwerken. De robot maakt een scanbeweging met de camera. De robotbeweging en de cameraopname zijn gekoppeld met een eenvoudige digitale I/O, een encoder komt er niet aan te pas! Nadat de robot de scanbeweging heeft gemaakt, rekent de smart camera een picklocatie uit, terwijl de robot naar een veilige locatie beweegt. Een tweede robot vraagt vervolgens aan de camera de pickcoördinaten op en pickt vervolgens de bloemen.

Hoeft er dan niets geteached of geleerd te worden? Nee, ieder willekeurig bosje bloemen kan gepickt worden, ongeacht kleur of soort. En om een succesvolle pick te garanderen, dient de camera wel te weten wat voor grijper er gebruikt wordt.

Conclusie
Vanuit de AgriFood is er veel belangstelling voor automatisering. Het toepassen van bestaande oplossingen is een uitdaging, daar het ‘ongestructureerde’ producten betreft. Langzaam aan ontstaan er oplossingen die praktisch toepasbaar zijn, ook in deze omgevingen. De typisch Nederlandse eigenschap om creatief en inventief met problemen om te gaan, leidt in de praktijk vaak tot originele en zeer bruikbare oplossingen. Er is goede hoop dat we in de toekomst als Nederland niet alleen voorop lopen met de handel in AgriFood-producten, maar ook met de handling ervan!

Voorruitblik
Op deze manier komt automatiseren zonder programmeren weer een stap dichterbij. Robots en computers willen graag getallen weten. Millimeters, graden. Laat ze die getallen maar zelf uitzoeken! Door systemen met elkaar te laten communiceren, de gedachte achter Industrie 4.0, kunnen veel programmeerklussen geautomatiseerd worden. Maar dit is weer een onderwerp voor een andere keer.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.