Tip: schrijfrobots kletsen nog steeds uit hun ‘nek’

OpenAI

In de podcast van Nature geeft journalist Matthew Hutson een mooi overzicht van de prestaties en uitdagingen van ‘schrijfrobots’. De grootste en sterkste is op dit moment GPT-3 (een acroniem van Generative Pretrained Transformer) van OpenAI: een neuraal netwerk met 175 miljard connecties. Honderd keer meer dan de indrukwekkende voorganger GPT-2.

Google presenteerde in januari weliswaar Switch, een taalmodel met 1,6 biljoen nodes, maar het is een extensiever model, dat even krachtig is als een GPT-achtige model met 10 à 100 miljard knooppunten.

GPTS en Google

OpenAI claimt dat het model verbazingwekkend goed scoort op allerlei vormen van verbale intelligentie (onder meer tekstbegrip, vertaling, trivia, natuurwetenschap, meetkunde, tekstgeneratie en zelfs boerenverstand), waar het model niet specifiek voor getraind is. Dat is uitzonderlijk. Helaas publiceert het niet alle onderliggende onderzoeksgegevens. Het model scoorde beter dan de gemiddelde menselijke deelnemer bij een test met 57 wetenschappelijke meerkeuzevragen van de Berkeley Universiteit.

Naast dit soort indrukwekkende prestaties is het ontluisterend om het model grandioos te zien falen bij de geïmproviseerde ‘Turing Test’, waaraan ondernemer Kevin Lacker het taalkanon onderwierp. Hij stelde GPT-3 bijvoorbeeld de onzinnige vraag ‘Hoeveel regenbogen heb je nodig om van Hawaii naar 17 te komen?’ Daarop luidde het ondubbelzinnige antwoord ‘Twee.’ Na nog wat gebrabbel meldde GPT-3: ‘Ik begrijp deze vragen.’

Lacker