Neurale netwerken vinden nieuwe materialen

MiT

Bij het doorzoeken van theoretische lijsten met mogelijke nieuwe materialen voor batterijen of andere energiegerelateerde apparaten, zijn er vaak miljoenen potentiële materialen die overwogen kunnen worden. Hierbij moeten meerdere criteria in één keer worden vervuld en geoptimaliseerd. Onderzoekers van MIT hebben onlangs een manier gevonden om de speurtocht drastisch te stroomlijnen middels machine learning.

Als demonstratie kwam het team tot een set van de acht veelbelovende materialen - dit uit bijna drie miljoen kandidaten - die voor energie­opslag in een flow batterij geschikt zouden kunnen zijn. Met conventionele analytische methoden zou deze studie vijftig jaar hebben geduurd. Nu lukte het in vijf weken.

De bevindingen worden gerapporteerd in het tijdschrift ACS Central Science, in een paper van MIT professor in chemische engineering Heather Kulik, Jon Paul Janet PhD ‘19, Sahasrajit Ramesh en afgestudeerde student Chenru Duan.

In de studie werd gekeken naar een reeks materialen die overgangsmetaalcomplexen worden genoemd. Deze kunnen in een groot aantal verschillende vormen bestaan, en Kulik zegt dat ze “echt fascinerende, functionele materialen zijn die anders zijn dan veel andere materiaalfasen. De enige manier om te begrijpen waarom ze werken zoals ze werken, is door ze te bestuderen met behulp van kwantum­mechanica.” Het voorspellen van de eigenschappen van een van de miljoenen van deze materialen zou ofwel tijdrovend en resource-intensief spectroscopie en ander labwerk vereisen, ofwel tijdrovend, zeer complex op fysica gebaseerde computermodellering voor elk mogelijk kandidaat-materiaal of combinatie van materialen. Elk van deze studies zou uren tot dagen werk kunnen vergen.

In plaats daarvan namen Kulik en haar team een klein aantal verschillende mogelijke materialen en gebruikten deze om in een geavanceerd machine-lerend neuraal netwerk te leren over de relatie tussen de chemische samenstelling van de materialen en hun fysieke eigenschappen. Die kennis werd vervolgens toegepast om suggesties te genereren voor de volgende generatie van mogelijke materialen die gebruikt kunnen worden voor de volgende trainingsronde van het neurale netwerk. Door vier opeenvolgende iteraties van dit proces verbeterde het neurale netwerk telkens aanzienlijk, totdat het duidelijk werd dat verdere iteraties geen verdere verbeteringen meer zouden opleveren.

Pareto-fromt

Dit iteratieve optimalisatiesysteem heeft het proces om te komen tot potentiële oplossingen die voldoen aan de twee tegenstrijdige criteria die worden nagestreefd, sterk gestroomlijnd. Dit soort processen van het vinden van de beste oplossingen in situaties waarin het verbeteren van de ene factor de neiging heeft om de andere te verergeren, staat bekend als een Pareto-front, dat een grafiek van de punten weergeeft, zodat elke verdere verbetering van de ene factor de andere zou verergeren. Met andere woorden, de grafiek geeft de best ­mogelijke compromispunten weer, afhankelijk van het relatieve belang dat aan elke factor wordt toegekend.

Voor het trainen van typische neurale netwerken zijn zeer grote datasets nodig, variërend van duizenden tot miljoenen voorbeelden, maar Kulik en haar team waren in staat om dit iteratieve proces, gebaseerd op het Pareto frontmodel, te gebruiken om het proces te stroomlijnen en betrouwbare resultaten te leveren met behulp van slechts een paar honderd monsters.

Bij het screenen van de flowbatterijmaterialen waren de gewenste eigenschappen met elkaar in tegenspraak, zoals vaak het geval is: Het optimale materiaal zou een hoge oplosbaarheid hebben en een hoge energiedichtheid - de mogelijkheid om energie op te slaan voor een bepaald gewicht. Maar een toenemende oplosbaarheid heeft de neiging om de energiedichtheid te verminderen, en vice versa.

Het neurale netwerk was niet alleen in staat om snel met veelbelovende kandidaten te komen, het was ook in staat om door middel van elke iteratie niveaus van vertrouwen toe te kennen aan zijn verschillende voorspellingen, wat hielp om de steekproefselectie bij elke stap te verfijnen. “We ontwikkelden een beter dan best-in-class onzekerheidskwantificatietechniek om echt te weten wanneer deze modellen zouden falen”, zegt Kulik.

Proof-of-concept

De uitdaging voor de proof-of-concept was het gebruik van materialen voor redox-stroombatterijen, een type batterij dat veelbelovend is voor grote, netvormige batterijen die een ­belangrijke rol kunnen spelen bij het mogelijk maken van schone, hernieuwbare energie. Transitiemetaalcomplexen zijn de voorkeurs­categorie van materialen voor dergelijke batterijen, zegt Kulik, maar er zijn te veel mogelijk­heden om met conventionele middelen te evalueren. Ze begonnen met een lijst van drie miljoen van dergelijke complexen voordat ze dat uiteindelijk tot de acht goede kandidaten hebben teruggebracht, samen met een set ontwerpregels die de experimenteerders in staat moeten stellen om het potentieel van deze kandidaten en hun variaties te verkennen. “Door dat proces wordt het neurale net zowel steeds slimmer over de ruimte, maar ook steeds pessimistischer dat alles wat we al hebben gekarakteriseerd verder kan verbeteren dan wat we al weten”, zegt ze.

Bredere toepassingen

Afgezien van de specifieke overgangsmetaalcomplexen die worden voorgesteld voor verder onderzoek met behulp van dit systeem, zou de methode zelf volgens haar veel bredere toepassingen kunnen hebben. “We zien het als het kader dat kan worden toegepast op elke uitdaging op het gebied van materiaalontwerp, waarbij je echt probeert om meerdere doelstellingen tegelijk aan te pakken. Weet je, de meest interessante materiaalontwerpuitdagingen zijn die waarbij je één ding probeert te verbeteren, maar het verbeteren van een ander ding verergert. En voor ons was het redox-batterijpaar  gewoon een goede demonstratie van wat we met deze machine kunnen leren en materialen sneller kunnen ontdekken.”

Het optimaliseren van katalysatoren voor verschillende chemische en industriële processen is bijvoorbeeld een ander soort van dergelijke complexe materialen zoeken, zegt Kulik. De huidige gebruikte katalysatoren bevatten vaak zeldzame en dure elementen, dus het vinden van even effectieve verbindingen op basis van overvloedige en goedkope materialen zou een belangrijk voordeel kunnen zijn.

“Dit document vertegenwoordigt, geloof ik, de eerste toepassing van multidimensionale ­gerichte verbetering in de chemische wetenschappen”, zegt ze. Maar het belang van het werk op de lange termijn zit hem in de methodologie zelf, vanwege dingen die anders misschien helemaal niet mogelijk zijn. “Je begint te beseffen dat zelfs met parallelle berekeningen, dit gevallen zijn waarin we op geen enkele andere manier met een ontwerpprincipe zouden zijn gekomen. En deze aanknopingspunten die uit ons werk komen, zijn niet noodzakelijkerwijs ideeën die al bekend waren uit de literatuur of die een expert je had kunnen aanwijzen.”

“Dit is een prachtige combinatie van concepten in de statistiek, toegepaste wiskunde en ­natuurwetenschappen die zeer nuttig zal zijn in ingenieurstoepassingen”, zegt George Schatz, professor in de scheikunde en in de chemische en biologische techniek aan de Northwestern University, die niet met dit werk werd geassocieerd. Hij zegt dat dit onderzoek zich richt op “hoe je machinaal kunt leren als er meerdere doelstellingen zijn. Kulik’s aanpak maakt gebruik van geavanceerde methoden om een kunstmatig neuraal netwerk te trainen dat wordt gebruikt om te voorspellen welke combinatie van overgangsmetaalionen en organische liganden het beste zal zijn voor redoxbatterij-elektrolyten.”

Schatz zegt dat “deze methode kan worden gebruikt in veel verschillende contexten, dus het heeft de potentie om het machine learning te transformeren, wat een belangrijke activiteit is over de hele wereld.” Het werk werd ondersteund door het Office of Naval Research, het Defense Advanced Research Projects Agency (DARPA), het Amerikaanse Ministerie van Energie, het Burroughs Wellcome Fund en de AAAS Marion Milligan Mason Award.

Liam van Koert