Het learning landschap verandert razendsnel. Wat zijn de laatste innovaties? Welke trends zijn er te zien? Wie zijn de belangrijke spelers? 227 Learning publiceert een serie interviews over het veranderende Learning landschap, waarbij telkens een vakgenoot zijn/haar visie en ervaringen deelt. In deze nieuwe reeks staat Learning Analytics centraal. Freia Fransen, Lead Recruitment Consultant bij 227 Learning, interviewt in dit eerste artikel Learning Analytics expert Justian Knobbout. “Learning Analytics is het gebruik van studiedata voor het monitoren van leerprocessen, het verbeteren van leeromgevingen en het meten van leeruitkomsten.”

Justian is een van de weinige specialisten in Nederland op het gebied van Learning Analytics. Tevens is hij de drijvende kracht achter Data Analytix en schrijver van het boek Learning Analytics Ontcijferd. Justian heeft promotieonderzoek gedaan naar de organisatorische vaardigheden die Nederlandse onderwijsinstellingen moeten ontwikkelen om Learning Analytics succesvol in te kunnen zetten en vele projecten rondom studiedata uitgevoerd. Hierbij heeft hij veel kennis opgedaan over het hoe, wat en waarom van data-analyses binnen de onderwijscontext. Zijn ervaringen heeft hij opgeschreven in een boek, een aantal boekhoofdstukken en wetenschappelijke artikelen. Hij is acht jaar hogeschooldocent geweest en hij begeleidt momenteel nog afstudeerders van meerdere masteropleidingen. Door zijn gecombineerde ervaringen in het onderwijs en met Learning Analytics wordt hij regelmatig gevraagd om presentaties, workshops en trainingen te houden. Tijdens praktische sessies mensen leren om data in te zetten om het leren te verbeteren: daar word hij blij van!

Kun je iets vertellen over je loopbaan en waarom je uiteindelijk voor het vakgebied Learning Analytics hebt gekozen?
‘Gekozen’ is een groot woord. Ik ben er meer ingerold. Ik was net klaar met mijn master Supply Chain Management en werd toen gevraagd of ik binnen Hogeschool Utrecht wat onderzoek wilde doen naar een nieuw concept binnen het onderwijs, namelijk ‘Learning Analytics’. Ik twijfelde even, want data-analyses gebruiken om onderwijs te verbeteren is wel heel wat anders dan het modelleren van goederenstromen en het ontwerpen van distributienetwerken. Maar na het lezen van een wetenschappelijk artikel over het onderwerp was ik verkocht. Ik hou wel van een beetje puzzelen en data gebruiken om onderwijsprocessen te optimaliseren is daar een hele nuttige invulling van. Helemaal omdat ik dat kon combineren met een parttime aanstelling als docent, waardoor ik theorie en praktijk meteen samen kon brengen. Gaandeweg werd het onderzoek mijn promotieonderzoek. Nadat ik dat had afgerond, ben ik als zelfstandig adviseur aan de slag gegaan om onderwijsinstellingen te helpen bij het inzetten van Learning Analytics. Soms op operationeel niveau, bijvoorbeeld het opzetten en begeleiden van pilotprojecten. Maar ook op strategisch niveau, zoals het meeschrijven aan visiestukken over dit onderwerp. Daarnaast geef ik veel trainingen en workshops. Momenteel werk ik als product owner van het domeinteam Learning Analytics bij Hogeschool Utrecht. Met dit team maken we op basis van studiedata allerlei informatieproducten zoals dashboards en rapportages. Nu nog vooral voor docenten, studentbegeleiders en onderwijsontwerpers, maar op termijn ook voor studenten.

Hoe vind je dat Learning Analytics het beste omschreven kan worden?
Ik omschrijf het altijd als volgt: “Learning Analytics is het gebruik van studiedata voor het monitoren van leerprocessen, het verbeteren van leeromgevingen en het meten van leeruitkomsten”. Het gaat hier vooral over het microniveau, dus op individueel-, groeps- of cursusniveau. Denk bijvoorbeeld aan het in kaart brengen hoe studenten door de digitale leeromgeving van een cursus navigeren en op basis van deze informatie de omgeving optimaliseren. Of studenten informatie geven over hun huidige kennisniveau en automatisch bepaalde leeractiviteiten aanbevelen of oefenopgaven aanbieden die aansluiten op het niveau. Of docenten helpen bij het identificeren van studenten die stagneren in hun voortgang en die dreigen uit te vallen. Dit zijn natuurlijk allemaal dingen die al honderden jaren gebeuren in het onderwijs, maar de schaal en snelheid waarmee we dit nu kunnen is ongekend.

Ik vind het belangrijk om te vermelden dat Learning Analytics altijd een middel moeten zijn en geen doel op zich. Soms hoor ik mensen zeggen “ik heb hier een export van ons systeem en daar wil ik iets mee”, zonder dat ze kunnen benoemen welke concrete vraag of behoefte ze hebben. Dat wil ik altijd andersom zien. Eerst weten wat je doel is en welk probleem je aan wilt pakken, dan pas kijken hoe je dat doel het best kunt bereiken. Dat lijkt een open deur, maar de praktijk is weerbarstiger.  

Wat zijn volgens jou de belangrijkste ontwikkelingen op het vlak van Learning Analytics in de afgelopen 10 jaar?
De versnelde digitalisering van het onderwijs door corona heeft het vakgebied een enorme boost gegeven. Heel plat gezegd: hoe groter het deel van het leren dat online plaatsvindt, hoe meer gegevens beschikbaar zijn. Of dit altijd positief is laat ik in het midden, maar het biedt wel kansen. Ook ontwikkelingen binnen het onderwijs zelf zoals flexibel onderwijs, blended learning en programmatisch toetsen hebben bijgedragen aan de ontwikkeling van Learning Analytics. Immers, zonder goede informatie kun je dergelijke onderwijsmethodes niet optimaal inzetten. Kortom, aan zowel de input- als de output-zijde wordt hard aan Learning Analytics getrokken. Sinds 2018 zijn dingen wel lastiger geworden. In dat jaar werd de AVG van kracht. Deze wet is niet zo heel anders dan de wet die daarvoor van kracht was, maar een hoop mensen werden zich toen wel bewust van privacy en het zorgvuldig omgaan met data. Helaas leeft er een hoop onduidelijkheid rondom de AVG en gingen een hoop deuren dicht. Onterecht, want de wet biedt genoeg ruimte om mooie informatieproducten te bouwen. 
Een laatste ontwikkeling is de aandacht vanuit leveranciers. Zij maken systemen steeds slimmer en tonen allerlei dashboards en informatie. Hierdoor word je als gebruiker van educatieve systemen en onderwijsmaterialen bijna gedwongen om over Learning Analytics na te denken. Want het systeem biedt nu allerlei informatie, maar hoe ga jij je onderwijs daarmee verbeteren? Je kunt het allemaal negeren maar dan loop je kansen mis. Hierdoor ontstaat een soort technology push waar je niet meer omheen kunt.

Waar ben je zelf het meest trots op dat je hebt bereikt binnen dit vakgebied?
Uiteraard ben ik erg trots op het boek dat ik over Learning Analytics geschreven heb. Ik heb daar zelf veel van geleerd maar lever ook een bijdrage aan de kennisbasis over Learning Analytics in Nederland. Ik deel graag kennis en heb afgelopen jaren vele presentaties en workshops gegeven. Hierdoor zijn een hoop mensen geïnspireerd om te kijken hoe zij Learning Analytics in kunnen zetten en sommige zijn ook daadwerkelijk meteen aan de slag gegaan. Dat is natuurlijk harstikke mooi. Maar zoals gezegd, ik hou ook van dingen maken en van puzzelen. In de afgelopen jaren heb ik regelmatig zelf informatieproducten gebouwd waardoor informatie beschikbaar kwam die voorheen niet toegankelijk was. Als mensen reageren met “dit hadden we jaren eerder moeten hebben”, dan weet je dat je goede dingen doet.

Welke kansen en mogelijkheden zijn er op het vlak van Learning Analytics binnen opleidingsinstituten en learning organisaties?
Er zijn kansen genoeg. Learning Analytics kunnen voor docenten een enorme tijdsbesparing opleveren. Soms heel eenvoudig, door gegevensverwerking te automatiseren en informatie in een enkel overzicht te tonen. Veel docenten werken nog handmatig allerlei Excelbestanden bij, terwijl deze gegevens ook ingelezen kunnen worden uit een bronsysteem en eenvoudig in een dashboard weer te geven zijn. Of ze analyseren met de hand studentevaluaties, wat een aantal uur per kwartaal kost. Terwijl wij een taalmodel hebben die datzelfde werk in vijf seconden doet. Ook denk ik terug aan mijn tijd als docent waarbij ik allerlei oefenopgaven zat te maken zonder echt goed te weten op welk niveau mijn studenten zaten en welke onderwerpen zij nog niet begrepen. Had ik daar wel meer informatie over gehad, dan had ik veel gerichtere oefeningen kunnen maken. Tegenwoordig is dat natuurlijk helemaal makkelijk, aangezien je een deel van dit werk kunt uitbesteden aan AI-tools. Die genereren in no-time een bak met oefenopgaven, terwijl ik daar een hele ochtend mee bezig was. Kortom, Learning Analytics leveren veel tijdwinst op en geven betere informatie aan docenten. Die kunnen zich dan richten op hun kerntaak: goed onderwijs ontwerpen en geven. 

Uiteraard profiteren ook studenten. Slimme planningtools helpen studenten om realistische studieplannen te maken of begeleiden bij het maken van keuzes in het studiepad. Of ze krijgen per cursus informatie over waar ze nu staan met betrekking tot leerdoelen en hun ambities. Dit geeft hen meer regie over het eigen leren. Of ze krijgen direct feedback doordat een systeem oefeningen geautomatiseerd nakijkt en meteen beoordeeld. Voorheen was dat alleen mogelijk met gesloten vragen waarbij slechts een antwoord juist was, maar tegenwoordig kan dat ook heel goed met open vragen. Eigenlijk zijn de mogelijkheden eindeloos. Ieder aspect van onderwijs kun je verbeteren door er studiedata in te gebruiken.

Waar lopen veel organisaties nog tegenaan op het vlak van Learning Analytics? Of wat houdt ze tegen om het te introduceren en/of verder te implementeren?
De meeste mensen zullen zeggen “privacy” maar dat vind ik niet. Ik heb maar zelden meegemaakt dat een project niet kon worden uitgevoerd omdat de verwerking van gegevens niet conform de AVG was. Wel is het een probleem dat mensen niet weten waar in de organisatie ze terecht kunnen met vragen over het veilig verwerken van gegevens. Bijvoorbeeld, niet weten hoe ze een privacy advies van een privacy officer kunnen krijgen. Of hoe gegevens veilig op te slaan en te delen met collega’s. Veel initiatieven sneuvelen omdat mensen denken dat het niet mag en niemand echt weet hoe het zit. Dat is jammer, want er is heel veel mogelijk.

Een grotere uitdaging vind ik het koppelen van Learning Analytics aan onderwijs. Hoe zorg je dat data-analyses echt impact hebben op je onderwijs en het leren? Vaak is Learning Analytics nog iets ‘ernaast’. Natuurlijk is het als docent best leuk om te zien hoe je studenten door de digitale leeromgeving navigeren. Maar om echt impact te kunnen maken moet je dergelijke informatie gebruiken wanneer je je cursusomgeving aan het herontwerpen bent. Er is nog vaak een mismatch tussen vraag en aanbod. Veel systemen bieden informatie die misschien leuk is maar weinig bijdragen aan het verbeteren van onderwijs of leerprocessen. Aan de andere kant ontbreekt het vaak aan goede informatie wanneer belangrijke beslissingen moeten worden gemaakt over bijvoorbeeld het aanpassen van lesvormen, leermaterialen of leeromgevingen. Men gaat uit van aannames en onderbuikgevoel, niet van objectieve informatie.   

Welke competenties en vaardigheden zijn van cruciaal belang om Learning Analytics te laten slagen? Op het vlak van learning en data en daarnaast ook op strategisch niveau?
Op operationeel niveau ontbreekt vaak nog besef wat allemaal mogelijk is en wat Learning Analytics kunnen bijdragen aan het onderwijs. Echt niet iedereen hoeft zelf analyses te kunnen maken of dashboards te kunnen bouwen maar een stukje bewustwording van de mogelijkheden is wel nodig. Immers, onbekend maakt onbemind. Op strategisch niveau moet men beseffen dat de waarde van Learning Analytics pas duidelijk wordt als je ermee aan de slag gaat. Dit vraagt om ruimte en flexibiliteit om te experimenteren en te leren. Gebrek aan middelen en buy-in van hoger management is een van de uitdagingen die de brede adoptie van Learning Analytics binnen organisaties belemmert. Ook moet werken met data meer onderdeel van de organisatiecultuur worden. Dit betekent niet dat mensen maar steeds hun gelijk willen halen door met cijfers te strooien. Maar wel dat objectieve informatie een onderdeel wordt van gesprekken en besluiten. Die cultuur ontstaat niet vanzelf maar moet ontwikkeld worden.    

Waar ben je zelf op het moment mee bezig en welke stappen hoop je in de komende jaren te kunnen zetten?
Zelf heb ik momenteel veel interesse in process mining. Dat is een analysetechniek waarbij je gegevens over activiteiten gebruikt om processen in kaart te brengen. Zo heb ik data van een afstudeerproces geanalyseerd en vergeleken met het normatieve proces, dus zoals de afstudeercommissie het uitgewerkt heeft. Hier bleken de nodige verschillen in te zitten. Studenten lopen dus in werkelijkheid anders dan gedacht. Met deze techniek zou ik ook eens naar andere processen willen kijken, bijvoorbeeld binnen een digitale leeromgeving. Ook daar stromen studenten als het ware door een leerproces. Daarnaast ben ik natuurlijk een knutselaar. Ik hoop komende jaren veel nieuwe toepassingen uit te mogen denken en hier in de praktijk mee te experimenteren. Daar krijg ik het meeste energie van. Niet teveel met het rand voorwaardelijke bezig zijn, maar de handen vuil maken en zelf dingen creëren.   

Door middel van onze interviews, willen wij zorgen dat de kennis van- en ervaring met Learning Analytics die er is binnen diverse organisaties meer met elkaar gedeeld kan worden, om zo van elkaar te kunnen leren. Wat wil jij hierover graag van andere organisaties horen?
Enerzijds ben ik altijd geïnteresseerd in mooie toepassingen. Dus waarvoor zetten organisaties studiedata in en wat levert dit op? Dat begint natuurlijk met het inventariseren van problemen en uitdagingen. Dat is soms confronterend, maar wel noodzakelijk om tot echt effectieve informatieproducten te komen. Ik zou het mooi vinden als organisaties kunnen delen hoe ze een probleem hebben weten op te lossen door middel van studiedata. Of welke aanname ze hebben weten te ontkrachten door data te analyseren. Anderzijds ben ik benieuwd naar samenwerkingen. Organisaties dragen ieder op hun eigen manier bij aan het leven lang leren van studenten. Sommige leveren leermaterialen, andere begeleiden het leren van studenten, weer andere bieden software en slimme oplossingen. Binnen onder andere de logistiek zien we steeds meer samenwerkingsverbanden waarbij partijen gezamenlijk tot producten en diensten komen waarvan iedereen profijt heeft. Het zou mooi zijn als we ook in het onderwijs eens kijken hoe we dit soort samenwerkingen kunnen realiseren. Dus deel vooral je goede voorbeelden op dit vlak. Laten we gezamenlijk kijken hoe we het onderwijs in Nederland naar een hoger niveau kunnen tillen. 

En tot slot, wat doet een Learning Analytics expert graag in het dagelijks leven, waar krijg je energie van?
Ik maak graag dingen, bijvoorbeeld mijn eigen meubels. Een beetje lassen, een beetje slijpen, daar krijg ik energie van. Ook ben ik stiekem blij als de auto niet door de apk komt, want dan kan er weer gesleuteld worden. Daarnaast hou ik van uitdagingen. Zo heb ik bijvoorbeeld met een oude off-road-motor door de Sahara gereden. Die motor deed het uiteindelijk vaker niet dan wel maar ik ben aangekomen. Momenteel ben ik bezig om mijn groot rijbewijs te halen zodat ik een vrachtwagen kan kopen en die kan gaan ombouwen tot camper XL. En ik ben tegenwoordig druk met hardlopen. Nu nog halve marathons, maar hopelijk op termijn eens een ultrarun van 250 kilometer. Altijd leuk om de grenzen een beetje op te zoeken en te blijven ontdekken. Dat moet binnen mijn werk ook, want het onderwerp Learning Analytics is bij veel organisaties nog onontgonnen gebied.