Print:

De kreet die Deep Learning heet

Erik Tromp, Experienced data scientist

LinkedIn profiel

De volgende trend in data science

Inmiddels zijn de termen big data en data science goed ingeburgerd in Nederland. Hoewel niet iedereen precies zal kunnen definiëren wat de precieze betekenis nou is, hebben de meeste mensen er wel een goed gevoel bij. Als data scientist van het eerste uur ben ik altijd op naar de volgende trend in dit vakgebied. Dit doet ik het beste door goed te kijken wat op dit moment populair is in Amerika – met name Silicon Valley – en waar al langer dan een jaar aldaar over gefluisterd wordt. Er is dan namelijk een grote kans dat die trend over een paar jaar ook in Nederland voet aan de grond zal krijgen en de volgende trein zal zijn waar we met zijn allen op willen springen.

Nu is er op dit moment – en eigenlijk al wel wat langer dan een paar jaar – een grote beweging gaande in de machine learning (in mijn ogen de basis van data science) wereld, voornamelijk in Amerika en Canada dus. De beweging waar ik het over heb is die van deep learning.

Competitie in machine learning

In de wereld van de machine learning is de kunst altijd om een bepaald probleem net een tikkeltje beter te kunnen oplossen dan de huidige beste algoritmen. Dit competitieve element zie je veel terug en voor de goed gedefinieerde en interessante vraagstukken zien we vaak dat na verloop van tijd er vrij weinig meer te winnen is in termen van accuraatheid ten opzichte van de huidige state-of-the-art.  Vooral bij problemen die wij als mens goed kunnen oplossen, maar voor een machine een enorme uitdaging zijn – denk hierbij vooral aan de typische vraagstukken rondom ‘unstructured data’, zoals afbeelding analyse, taalmodellering en handschrift herkenning – is dit een duidelijk fenomeen. Men probeert al jaren elkaar met tienden van procenten te verbeteren en komt nauwelijks meer vooruit.

Dit was zo, totdat een groep mensen die zich bezighield met louter een methode – deep learning – zich ineens ging storten op allerlei vraagstukken die niet per definitie in hun vakgebied lagen. Zij traden dus vrij ‘koud’ een nieuw vraagstuk tegemoet, gewapend met alleen kennis en vertrouwen in ‘hun’ deep learning. Wat bleek nu, deze groep mensen bleek in staat te zijn om een zeer groot aantal vraagstukken beter te beantwoorden dan wat tot dan toe mogelijk was. Dit deden zij niet met tienden van procenten, zoals we gewend waren te zien, maar met drie, vier, soms wel meer dan vijf procent in één klap. Vanaf dat moment werden deze mensen en hun mysterieuze methoden serieus genomen.

Die stoffige neurale netwerken

De term deep learning is een benaming voor een modelleringmethodiek waarbij neurale netwerken centraal staan. Neurale netwerken (of beter: artifical neural networks) zijn al vrij lang geleden bedacht en ook toegepast. Vooral in de jaren 80 werden ze geprezen om hun modelleerkracht. Even als opfrisser: neurale netwerken is een familie van machine learning algoritmen waarbij het nabootsen van het menselijk brein nagestreefd wordt, waarbij neuronen laagsgewijs met elkaar verbonden worden.

Om de daadwerkelijke kracht van neurale netwerken te benutten, zijn meerdere lagen neuronen nodig. Nu bleek als vrij snel dat in theorie prima mogelijk was, maar in de praktijk wat lastiger, vooral omdat het wel erg lang duurde om een dergelijk netwerk te trainen en omdat de numerieke waardes in een neuraal net door de immense hoeveelheid parameters vrij snel minimaal worden. Destijds is er vrij veel kritiek gekomen op neurale netwerken en daardoor zijn ze eigenlijk in de virtuele ijskast geplaatst; de praktische toegevoegde waarde was minimaal.

Niet iedereen gaf het helemaal op. Een aantal onderzoekers in Canada en Amerika – in het bijzonder meneer Geoff Hinton – bleef fanatiek bezig. In 2006 heeft dhr. Hinton een baanbrekende, doch schrikwekkend simpele, methode geïntroduceerd om toch meerlaagse neurale netwerken in te kunnen zetten – deep learning was een feit. De methodiek (als we het al zo mogen noemen) die hij gebruikte noemde hij (layer-wise) greedy pre-training. Normaliter is het doel van een neural netwerk om een bepaalde functie optimaal te kunnen beantwoorden. Met zijn pre-training worden de lagen in het neurale net constant in groepen van twee ingetraind. Dit betekent dat we geen optimale oplossing vinden, maar wel een duwtje in de juiste richting krijgen. Vervolgens kan het trage algoritme dat voorheen altijd werd gebruikt nog ingezet worden om een paar verfijningslagen te maken. Het resultaat is een benadering van de functie waar we naar op zoek waren, maar dan wel verkregen in een veel korter tijdsbestek en dus praktisch inzetbaar.

Huidige stand van zaken

Zoals eerder aangegeven is deep learning vooral goed – of beter gezegd; het meeste terrein valt hier te winnen – in het modelleren van vraagstukken met betrekking tot unstructured data. Het eerste werk van Hinton beoogde handgeschreven nummers te herkennen. Een leuke visualisatie hiervan is te vinden op zijn pagina http://www.cs.toronto.edu/~hinton/adi/index.htm. Inmiddels zijn veel meer wetenschappers bezig met deep learning en worden problemen taalproblemen als parsing, sentiment analyse en entity recognition beter beantwoord dan ooit tevoren. Ook is het automatisch herkennen van objecten in afbeeldingen, of het efficiënt analyseren van videobeelden geen onmogelijkheid meer.

Het wachten is nu op het moment dat men in Nederland (of eigenlijk Europa) ook de kracht van deep learning in gaat zien, waarbij er vooral veel meer kundige mensen naar voren moeten stappen die zich hiermee bezig gaan houden. Het voornaamste hierbij zal zijn om deze, toch vrij complexe, methodieken beschikbaar en inzichtelijk te krijgen voor een groter publiek. Hier zijn goede eerste initiatieven voor, zoals het introduceren van software frameworks als Theano, Torch en DeepLearning4J.

Zelf houd ik mij bezig met het toepassen van onder andere deep learning methodieken voor allerlei soorten vraagstukken, zoals tekstmodellering. Daarnaast ben ik auteur van het big data analytics platform Tuktu, waar al wat toepassingen van deep learning inzitten. Mijn doel is om op dit platform het brede scala aan deep learning methoden als bouwstenen beschikbaar te stellen.

Erik Tromp

Erik is een freelance data scientist. Hij is momenteel werkzaam als data scientist annex big data consultant, werkend op het snijvlak van machine learning en schaalbare systemen. Erik is tevens trainer bij IIR van o.a. de opleidingen Big Data Fundamentals & Data Science voor Managers.

Wij gebruiken cookies om IIR.nl gemakkelijk te maken. Bezoekt u onze website, dan gaat u akkoord met deze cookies meer informatie

De cookie-instellingen op deze website zijn ingesteld op 'toestaan cookies "om u de beste surfervaring mogelijk. Als u doorgaat met deze website te gebruiken zonder het wijzigen van uw cookie-instellingen of u klikt op "Accepteren" hieronder dan bent u akkoord met deze instellingen.

Sluiten