Minder rekenen met Event Based Vision

Tijdens Vision 2018 presenteerde het Franse Prophesee een ‘nieuwe’ manier van kijken die het ‘neuromorfische vision’ noemde. Nu, enkele maanden later, kondigt het een samenwerking voor ‘event based vision’ aan met het Duitse IMAGO. Het belooft ultrasnelle teltoepassingen mogelijk te maken, realtime tracking, het veilig laten samenwerken van mens en machine en het contactloos monitoren van trillingen voor predictive maintenance op basis van vision. Rijst de vraag: hoe nieuw is het? Hoe werkt het? En waarom zijn er zulke hoge snelheden mogelijk?

Twee tellen struinen op het internet en het wordt al snel duidelijk dat neuromorfische vision niet nieuw is. Onderzoek naar neuromorfische chips vindt al enkele decennia plaats. Een eerste publicatie van Christof Koch en Bimal Mathur uit 1996 (https://bit.ly/2ScCLSz), maakt ook meteen duidelijk wat met zo’n dergelijke chip precies bedoeld wordt: een IC die de structuur van de retina nabootst en zich verplaatsend licht en schaduw omzet in randen en oppervlakten, op een vergelijkbare manier waarop ogen informatie aan de visuele cortex aanbieden. Hoewel de getallen natuurlijk flink achterhaald zijn, staat de observatie dat er voor vision­taken – mits er slim gekeken wordt – lang niet altijd veel pixels nodig zijn nog steeds als een paal boven water. Zo kunnen insecten nog steeds prima met 10.000 pixels uit de voeten om voedsel te vinden, aan rovers te ontkomen en maatjes te vinden.

Een van de partijen die zich toelegt op de ontwikkeling van event driven neomorfische vision chips is Prophesee. Tijdens de afgelopen Vision show in Stuttgart introduceerden zij hun laatste vinding: het Onboard reference systeem. Volgens eigen zeggen is het het meest geavanceerde neuromorfische visionsysteem dat er vandaag de dag te krijgen is, geeft het metavisie aan machines en maakt het zichtbaar wat tot op heden onzichtbaar was.

Dat belooft nogal wat. Hoe ze het voor elkaar krijgen? Zelf leggen ze het verschil tussen FD-chips en ED-chips als volgt uit.

Kijken naar frames

Conventionele beeldverwerking maakt gebruik van een frame-gebaseerde benadering, waarbij alle pixels in een sensor tegelijkertijd het licht meten dat op hen valt. Hun waarden geven ze synchroon door aan de ondersteunende circuits. Doe dit eenmalig en onder de juiste lichtomstandigheden, dan krijg je een stilstaand beeld van goede kwaliteit. Doe het sneller en je kunt het menselijk brein laten denken dat stilstaande beelden eigenlijk een continue beweging is. Deze benadering werkt goed voor de mens die naar een film kijkt, maar is niet ideaal voor machine-vision toepassingen. Een van de redenen hiervoor is dat een conventionele camera een gemeenschappelijke beeldsnelheid toepast op de hele scène. Dit betekent dat bewegende elementen waarschijnlijk ondergesampled worden, terwijl stationaire elementen uitgebreid en nodeloos worden gerepliceerd. Machinevisionsystemen worden daarom belast met het verwerken van grote hoeveelheden nutteloze of slechte gegevens, waarbij gebruik wordt gemaakt van dure, energieslurpende processoren, communicatieverbindingen met hoge bandbreedte en geheugen, zonder enig nuttig effect. Deze brute-force aanpak werkt – binnen bepaalde grenzen – voor sommige huidige toepassingen, maar is mogelijk niet geschikt voor nieuwe visiontaken, zoals in auto’s, die scènes in realtime moeten begrijpen, of in omgevingen met beperkte kracht, bandbreedte en rekenkracht.

Kijken naar events

Menselijke visie geeft ons een enorm evolutionair voordeel, ten koste van het in stand houden van een brein dat krachtig genoeg is om de enorme hoeveelheid gegevens die het produceert te interpreteren. Evoluties heeft daarom geleid tot de opkomst van snelkoppelingen in de beeldverwerkingscentra van onze hersenen om met deze datadouche om te gaan. De fotoreceptoren in onze ogen rapporteren alleen terug naar de hersenen als ze een verandering in de visuele scène waarnemen, zoals het contrast of de luminantie. Evolutionair was het veel belangrijker voor ons, om ons te kunnen concentreren op de beweging van een roofdier binnen een scène dan om herhaaldelijk een willekeurige inventaris op te maken van elk detail van de scène.

Recent onderzoek naar het vermogen van de mens om objecten te herkennen suggereert dat mensen nuttige gegevens kunnen verzamelen uit een scène die tot 1.000 keer per seconde verandert. Dat is veel meer dan de 24, 30 of 60 beelden die we gebruiken om beweging op televisie of in films weer te geven. Een enorme hoeveelheid nuttige informatie is gecodeerd. In deze veranderingen ligt een enorme hoeveelheid nuttige informatie besloten die de meeste camera’s met een vaste beeldsnelheid niet eens zien vanwege hun lage samplefrequentie.

Event-based sensing maakt geen gebruik van een vaste beeldsnelheid. In plaats daarvan rapporteert elke pixel alleen wanneer het een significante verandering in zijn gezichtsveld waarneemt. Deze aanpak vermindert de hoeveelheid overtollige gegevens die door de sensor worden verzonden, waardoor rekenkracht, bandbreedte, geheugen en energie worden bespaard. Het maakt het mogelijk om sensoren te bouwen met een veel hoger dynamisch bereik dan gewoonlijk het geval is, omdat elke pixel zich automatisch aanpast aan het invallende licht. Om deze reden worden event-based sensoren niet verblind door een hoog contrast, bijvoorbeeld door de koplampen van een auto ’s nachts. De event-based sensor heeft nog een voordeel: de output is een continue datastroom. De visuele gebeurtenissen worden hierbij weergegeven als een opeenvolging van adressen voor elke pixel die de gebeurtenis waarneemt en de belichtingen die op dat moment door elke pixel worden gemeten. Deze ruimtelijk-temporele datastroom biedt een veel directere manier om de verandering in het gezichtsveld te registreren dan het frame voor frame vergelijken van de output van een standaard sensor.

Snelle vergelijking

De event-based benadering van Prophesee betekent ook dat ontwerpers van visionsystemen die snelle gebeurtenissen willen vastleggen, voor hun camera’s niet langer een afweging hoeven te maken tussen snelheid en de hoeveelheid te verwerken data. Die hoeveelheid wordt namelijk bepaald door de veranderingen in het gezichtsveld, en worden automatisch aangepast naarmate de omstandigheden van de scène zich ontwikkelen. Kijken naar een statische scène zal geen gebeurtenissen genereren, maar in het geval van actie past de camera zich automatisch aan om deze direct vast te leggen. Dit maakt het gemakkelijker en kosteneffi­ciënter om zeer snelle bewegingen te verkrijgen en te analyseren, zelfs als deze worden onderbroken door tijden of gebieden waar beweging afwezig is.

Elke pixel geeft informatie met de snelheid van verandering in het gezichtsveld, niet met een willekeurige, vooraf ingestelde en vaste beeldsnelheid. Een evenementbenadering betekent dus ook dat in hoge resolutie dynamische scènes kunnen worden geanalyseerd als een opeenvolging van gebeurtenissen ‘tijdruimtelijke’ patronen vormen en randen, banen of snelheden van objecten voorstellen. De figuur laat zien hoe de Prophesee-sensor een roterende robotarm registreert. De wiskunde die een dergelijk patroon in ruimte en tijd beschrijft, is eenvoudig en elegant en levert zo efficiënte algoritmes en rekenregels op. Willen we het verschil in snelheid van een dergelijke meting kwantificeren, dan is dat deels een appel en peren vergelijking. Maar leggen we de temporale resolutie van een event-based sensor naast de framerate van een frame-based sensor, dan praten we in het eerste geval over van tientallen kHz en in het tweede over maximaal 60 frames per seconde. De verschillen treden op, doordat elke visuele gebeurtenis wordt behandeld als een continu signaal incrementele verandering. Een eventbenadering maakt het ook gemakkelijker om multiple views van een scène te correleren, wat bijvoorbeeld helpt bij taken zoals 3D-dieptereconstructies in multi-camera opstellingen. Als namelijk twee of meer camera’s één gebeurtenis in één keer waarnemen, is het waarschijnlijk dat ze hetzelfde punt waarnemen.

Tot slot suggereert recent onderzoek ook dat het analyseren van de manier waarop de belichtingssterkte van een enkele pixel in de loop van de tijd verandert, perspectieven biedt voor nieuwe toepassingen. Denk aan objectherkenning, het vermijden van obstakels en de gelijktijdige lokalisatie en mapping (SLAM) voor autonome voertuigen.

Concrete samenwerking

Terug naar de beursvloer. Ten eerste naar die van Vision Stutgart waar het ‘Onboard reference system’ van Prophesee een Vision Award nominatie in de wacht sleepte. Deze developerskit omvat niet alleen de VGA event-based beeldsensor, maar ook een Linux Operating system waarop alle AI-algoritmes draaien. Hiermee worden snelheden tot 10.000 ‘fps’ (temporale resolutie) gehaald, bij een dynamic range van 120db met een subpixel nauwkeurigheid. Een van de partijen die wel brood ziet in de event-based oplossing van Prophesee, is het Duitse IMAGO Technologies. Voor de beurs Embedded in Neurenberg kwamen zij met VisionCam. Deze camera is uitgerust met een dual-core Arm Cortex processor en beschikt over alle gangbare interfaces. VisionCam zal vanaf de tweede helft van 2019 beschikbaar zijn.

Onderzoek naar neuromorfische architecturen

In een recente publicatie over neuromorfische vision chips behandelt Nanjian Wu (https://bit.ly/2BDlZX1) twee typen: de frame-driven chip (FD) en de event-driven chip (ED). Beide typen zijn zeer afwijkend voor wat betreft systeemarchitectuur, de manier van sensing, structuur van de beeldinformatie, de beeldverwerkings­algoritmes en de ontwerpmethodologie. Hoewel het wat ver gaat deze zaken tot in detail te behandelen, noemt Wu enkele belangrijke verschillen. De FD-chip, die in zijn geval een high speed image sensor is met bewerkingsarray en een zelforganiserend neuraal netwerk, is in het voordeel voor wat betreft beeld­resolutie, statische objectdetectie, tijdmultiplexing (samenvoegen in het tijd­domein) van beeldverwerking en sensoroppervlak. De ED-chip is gebaseerd op een adres-event representatie en een event­gebaseerd multi-kernel (gedistribueerd) convolutional neuraal netwerk (CNN). Voordelen hier zijn het snellere ‘voelen’, lagere benodigde bandbreedte, een ‘breinachtige’ manier van beeld­verwerking en een hoge energie efficiency.

Dit artikel is deels gebaseerd op een whitepaper van Prophesee. Het hele whitepaper is hier te downloaden: www.prophesee.ai

Liam van Koert

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Deze website gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.