Een gepolariseerd beeld van de machine vision industrie

Sony 1

Tijdens de laatste Vision show in Stuttgart presenteerde Sony haar nieuwe on-chip polarisatie sensoren en camera’s. Tijd voor een wat dieper inkijkje in deze innovatieve technologie. Hoe werkt het? Welke toepassingen zijn er mogelijk? En waarom vormen de nieuwe vaardigheden die nodig zijn voor het ontwikkelen van deze nieuwe toepassingen zowel een barrière als een kans voor cameraontwikkelaars?

Vervelende weerspiegelingen kunnen de pre­cisie en daarmee de bruikbaarheid van indus­triële camera’s behoorlijk in de weg staan. Dit geldt ook in gecontroleerde omgevingen zoals voor de visuele inspectie van onderdelen of verpakkingen, waar schitteringen een fout kunnen maskeren, waardoor de kans op een terugroepactie toeneemt.

Het speelt een nog grotere rol in buitentoepassingen zoals bij ITS-systemen (Intelligent Transportation Systems), waar schitteringen die het gevolg zijn van zeer variabele en onvoorspelbare lichtcondities systemen zoals geautoma­tiseerde tolpoortjes met kentekenherkenning kunnen vertragen. Maar het niet goed kunnen vastleggen van het kenteken kan natuurlijk ook de pakkans voor het door rood rijden flink doen afnemen.

Verschillende polarisatieopstellingen

Een van de manieren om schitteringen in het door de camera vastgelegde te analyseren beeld te voorkomen of terug te dringen is het gebruik van polarisatiefilters. Maar omdat een dergelijk filter slechts in één vlak werkt, moet het systeem:

1) Een multi-camera setup zijn. Dit verhoogt de complexiteit en de kosten wanneer een ­toepassing niet alleen ontwikkeld, maar ook onderhouden moet worden. Het introduceert bovendien foutpositieve waarnemingen door vervorming van het perspectief.
2) Een enkelvoudig camerasysteem met meerdere filters die op hoge snelheid worden uitgewisseld. Dit voorkomt vervorming van het perspectief, maar betekent ook vertragingen bij elke wisseling van het filter. Het introduceert tevens een punt van systeemfalen door het ­gebruik van mechanische bewegende onderdelen.

In de tweede helft van 2018 werd er nog een derde mogelijkheid geïntroduceerd toen de halfgeleiderdivisie van Sony haar IMX250MZR sensor introduceerde. Het was ‘s-werelds ­eerste massageproduceerde sensor die over on-chip polarisatie beschikte, waardoor polarisatie op pixelniveau mogelijk werd. De sensor is hiertoe uitgerust met en laag wire grid polari­satoren die zich tussen de microlens en de fotodiodes bevindt. Het wire grid kan voor elke ­fotodiode worden ingesteld in één van de volgende vier vlakken: 0o, 90o, 45o, en 135o. Hierbij wordt telkens een berekeningseenheid van 2x2 pixels aan één vlak toegekend.

Berekenen van de licht invalshoek

Perfecte polarisatie bestaat niet. Verliezen ­reden zelfs op wanneer de lichtinval loodrecht op het wire grid (maximale overdracht) valt. En sommige ongewilde lichthoeken treden op wanneer de invalshoek parallel aan het wire grid (minimale overdracht) is.

De relatie tussen het minimaal en maximaal licht dat door de wire grid polarisator gaat is de zogenoemde uitdoofratio (extinction ratio), waarbij hoge uitdoofratio’s een preciezere vastlegging van een specifieke hoek betekenen.
Deze imperfecte aard van een polarisator stelt ons in staat om de hoek van het licht dat door het filter gaat nauwkeurig te berekenen, en dat niet alleen voor de vier gespecificeerde hoeken. Door de toename en afname van de lichtintensiteit tussen elke 4 pixels van de berekeningseenheid te vergelijken, kunnen Stokes parameters worden gebruikt om de precieze hoek en richting van de polarisatie in elk vlak te bepalen.

Wat kan de lichthoek je vertellen?

Naast het wegfilteren van ongewenste weerspiegelingen en schitteringen, kunnen applicatie engineers die visionsystemen ontwikkelen ook kleur aan elk lichtvlak toekennen voor een grafische representatie van hoe de lichthoek verandert wanneer het door een oppervlak heengaat of juist weerspiegelt. Hierdoor kunnen de volgende zaken worden gedetecteerd:

Materiaalspanningen - Materiaalspanningen in een transparant object - bijvoorbeeld een stuk perspex of het glas van een smartphone - zullen de brekingshoek van het licht een beetje veranderen. Door licht door het glas te schijnen en een kleur aan de output van enkele polarisatiehoek toe te kennen (dus bijvoorbeeld rood voor 0o, blauw voor 45o, …) kan de veranderde lichtbaan grafisch worden weergegeven om materiaalspanningen inzichtelijk te maken tijdens een kwaliteitscontrole, die anders onopgemerkt zouden blijven.
Krasdetectie - Net als bij materiaalspanningen zal ook een normaliter verborgen kras of oppervlakte­beschadiging de reflectiehoek veranderen. Dit betekent dat de reflectieverbeteringen kunnen worden doorgevoerd die oppervlakte-inspectie en krasdetectie vereenvoudigen.
Analyse bij weinig licht - In situaties met weinig licht kan de contour van objecten niet altijd even eenvoudig worden vastgesteld. Polarisatie kan helpen om het contrast van objecten te verbeteren door de hoek van het object gereflecteerde licht te meten. Dit maakt ook een nauwkeurigere identificatie van verborgen en gecamoufleerde objecten (door de mens gemaakte, maar bijvoorbeeld ook dieren) mogelijk die normaliter in de achtergrond verdwijnen, door het gebruik van spectrale of warmtebeeldcamera’s.
De techniek is bijzonder effectief gebleken bij het vastleggen van onderwaterbeelden, waarbij de brekingseigenschappen blijken te variëren en afhankelijk zijn van de locatie, de diepte, de richting en hoe laat het is. En inderdaad, er zijn verschillende zeedieren die vertrouwen op hun geëvolueerde gepolariseerde lichtsensoren om zowel lokaal als over lange afstanden te ­navigeren en om de camouflage van hun prooi teniet te doen.
Elimineren van schitteringen - De precieze analyse van complexe objecten (van elektronische componenten en mechanische onderdelen tot en met groenten en fruit) en spiegelende materialen (van farmaceutische verpakkingen tot en met autoruiten) wordt vaak beperkt door weerspiegelingen. Bovendien geldt voor buitentoepassingen zoals vision met drones, en verkeerssystemen dat de licht­intensiteit en de lichthoek gedurende de hele dag variëren, wat betekent dat de schitteringen de kwaliteit van de verkregen beelden flink omlaag kunnen halen.

Het verwijderen van deze schitteringen zal de nauwkeurigheid vergroten, waardoor de inhoud van doordrukstrips van ronde medicijnen nu ­bijvoorbeeld met slechts één vaste camera worden bekeken. In het geval van de verkeerssystemen kan nu niet alleen worden vast­gesteld dat zich een overtreding voordeed ­(bijvoorbeeld te hoge snelheid of door rood ­rijden), ook kan de nummerplaat betrouwbaar worden vastgelegd, maar ook worden gezien of een chauffeur zijn mobiele telefoon tijdens het rijden gebruikt.

Gepolariseerde vision camera's

De nieuwe sensor wordt al in camera’s toegepast, waaronder in Sony’s XCG-CP150. Diverse onderzoeken laten echter zien dat er een significante barrière is als het om de adoptatie van deze nieuwe technologie gaat. Dit betreft ­onder andere de skillset van systeemontwikkelaars die nodig is om deze technologie eenvoudig toe te passen. De ontwikkeltijd van een applicatie - welke uiteraard afhankelijk is van de toepassing zelf en van het team - bedraagt tussen de 6 en 24 maanden.

Tijdens de beurs Vision afgelopen november, liet Sony een preview van een SDK voor haar gepolariseerde camera zien, die eerder dit jaar beschikbaar kwam voor klanten. Tijdens de beurs werd de SDK gebruikt om een spanningsanalyse te demonstreren en schitteringen voor verkeerstoepassingen weg te nemen.
De SDK biedt verschillende ondersteunende functies, waaronder demosaic en raw extraction. Verder is er een ‘cosinus pasfunctie’ om ontwikkelaars te helpen een virtuele polari­satiehoek voor het beeld te definiëren. En er is een ‘gemiddelde’-functie voor het creëren van ongepolariseerd beeld vanuit de ruwe date dat gelijktijdig vergelijken van gepolariseerde en niet-gepolariseerde camerabeelden mogelijk maakt.

Diverse preprocessingfuncties helpen vervolgens bij het berekenen van uiteenlopende polarisatiespecifieke informatie, zoals de ‘polarisatiegraad’, ‘stokes vector’ en de ‘surface normal vector’. Op een hoger niveau zijn er ­diverse applicatiefuncties geïmplementeerd voor het werken met reflecties en het meten van spanningen. L
ast, maar zeker niet least, biedt de SDK een referentiebibliotheek met ­applicaties die, samen met voorgenoemde features, helpen om ontwikkeltijden terug te brengen naar 6 tot 12 weken, uiteraard wederom afhankelijk van de toepassing en het team.

Breakout box - Het meten van spanningen

Tijdens Vision 2018, liet Sony een spannings­meting zien met een gepolariseerde XCG-CP510 camera die 50 cm voor een PET blok was opgesteld. Het blok werd aan de achterzijde aangelicht door monochromatisch licht met een polarisator. De camera was zo ingesteld om zowel een gemiddeld (niet gepolariseerd) beeld, als een spanningsbeeld te produceren, waarbij aan elk lichtvlak een kleur was toegekend (rood, blauw, groen en geel) en de software de ­fasevertraging/verschuiving berekende, gecorreleerd aan de spanning die aan het PET-blok werd aangebracht.

Boven het blok bevond zich een schroef waarmee gebruikers de spanning die op het blok werd aangebracht konden veranderen. Zoals de beelden van de gemiddelde versie ­laten zien, is het in zowel een spanningsloze als een situatie onder spanning onmogelijk de ­effecten waar te nemen met een normale ­visioncamera. Wanneer echter de algoritmen van de SDK gebruikt worden, is het mogelijk om snelle veranderingen waar te nemen.

Conclusie

Schitteringen kunnen de nauwkeurigheid en bruikbaarheid van industriële camera’s negatief beïnvloeden en de kans op recalls vergroten. Gepolariseerde camera’s helpen om dit tegen te gaan. Niet alleen door het verkrijgen van ­betere beelden, maar ook door inzichtelijk te maken waar er kans op falen bestaat. Een van de grootste uitdagingen voor de adoptie van gepolariseerde camera’s is echter het ontwikkelen van nieuwe toepassingen en nieuwe vaardigheden. Het gebruik van SDK’s kan hierbij helpen om interessante nieuwe toepassingen op de markt te brengen.

Stephane Clauss, Sony Image Sensing Solutions