Rond de feestdagen doen we het graag bij NEMO Kennislink: oude artikelen over een actueel onderwerp onder de aandacht brengen, bijvoorbeeld over de geschiedenis van Sint Nicolaas, de duurzaamheid van kerstbomen of de jaarlijkse piek in echtscheidingen in januari. Uit ons omvangrijke archief van ruim vijfduizend artikelen zoekt de redactie handmatig naar oude artikelen die weer relevant zijn, maar uiteraard missen we er zo ook een hoop. Wellicht kan kunstmatige intelligentie (AI) ons hier een handje bij helpen.

Begin dit jaar startte een project waarbij NEMO Kennislink samen met een groep onderzoekers experimenteerde met een aanbevelings-systeem op basis van AI, dat de lezer tips geeft om verder te lezen. Dat doen we nu handmatig, kijk maar onderaan dit artikel. We werkten samen met het AI, Media & Democracy Lab, waarbij onderzoekers van de Hogeschool van Amsterdam, het Centrum Wiskunde & Informatica en de Universiteit van Amsterdam betrokken zijn. 

Het doel van het experiment was niet om ons werk te automatiseren, maar om te kijken of we de diversiteit van aanbevelingen zouden kunnen vergroten. Als je nu een artikel leest, krijg je aanbevelingen die uit hetzelfde thema of dezelfde serie komen. En als het artikel niet bij een thema of serie hoort, krijg je een ander recent artikel aangeboden. Veel oude pareltjes blijven daardoor onderbelicht. Bovendien kan meer diversiteit in aanbevelingen voorkomen dat lezers in een 'filterbubbel' terechtkomen, waarin ze veel dezelfde onderwerpen en meningen voorgeschoteld krijgen.

App op je telefoon

In februari en maart riepen we lezers op om mee te doen met ons experiment. Na enige vertraging vanwege ethische toetsing, kon de proef in juni van start gaan met 135 deelnemers. “Dat is een heel goed aantal”, zegt Marcio Fückner, projectleider van dit project en docent-onderzoeker aan de Hogeschool van Amsterdam. “Hoewel niet groot, is zo'n steekproefomvang wel voldoende om ons een eerste inzicht te geven.” Deelnemers werden in twee groepen ingedeeld: een controlegroep en een experimentgroep. De controlegroep kreeg dezelfde, handgemaakte aanbevelingen te zien als de gewone lezer. De experimentgroep kreeg AI-aanbevelingen.

Blijven lezen

Ruud Janssen, een van de deelnemers, is al heel lang een trouwe NEMO Kennislink-lezer. “Nog van de tijd dat het alleen Kennislink heette.” Hij vindt het daarom erg leuk om NEMO Kennislink te helpen. “Ik lees de nieuwsbrief vaak, maar omdat 'ie in mijn mail komt, laat ik 'm ook vaak liggen. Ik heb meerdere nieuwsapps op mijn telefoon. Als NEMO Kennislink ook een app zou hebben, dan zou ik er vaker in kijken.” Janssen wist niet dat hij in de experimentgroep zat, en dus AI-aanbevelingen kreeg. “Ik weet eigenlijk niet of ik die aanbevelingen heb gelezen. Maar ik maak me ook niet druk om AI. In mijn ogen is dat niets anders dan een formule of algoritme, dat door een mens wordt geschreven, met een bepaalde opleiding en vooroordelen. Die is dus niet neutraal. Daar moet je wel rekening mee houden.”

Het experiment liep van 13 juni tot 31 augustus, en de resultaten laten zien dat de gebruikers allemaal gelijk enthousiast begonnen met lezen. Maar zeker na 15 juli, toen de zomervakantie begon, werd de daling ingezet. “Dat is niet iets waar we van schrikken”, aldus Fückner. “Bij elk gebruikersonderzoek zie je zo'n dalende lijn.” Janssen is de uitzondering hierop. “Ik ben blijven lezen tot de app niet meer werkte.”

Duimpjes

Ondanks Janssens enthousiasme, laten de resultaten zien dat zijn experimentgroep, die dus AI-aanbevelingen kreeg, iets minder tevreden was over de artikelen dan de controlegroep. Zij gaven minder duimpjes omhoog. Anderzijds lazen zij wel meer diverse artikelen: van andere auteurs, van andere thema's en series en van langer geleden. Ook klikten de deelnemers uit de experimentgroep meer op de aanbevolen artikelen. Fückner: “De artikelen maakten hen blijkbaar nieuwsgieriger, al leidde dat dus niet tot meer tevredenheid.” Een ander, geruststellend resultaat is dat de deelnemers niet massaal de oudere artikelen een slechtere beoordeling hebben gegeven. "Artikelen van een paar jaar oud zijn dus nog steeds goed bruikbaar."

Het onderzoek laat zien dat een AI-aanbevelingssysteem dus zeker wel nut kan hebben, al moet het met mate worden ingezet. “Het is niet bedoeld om menselijke aanbevelingen te vervangen”, zegt Fückner. “Je zou het zo moeten instellen dat je een optimale balans vindt tussen diversiteit en relevantie. Als je je aanbevelingen zo divers mogelijk maakt, verlies je je lezers. Maar als je te veel aan de smaak van de lezer vasthoudt, is dat ook niet goed, want dan laat je hen in hun bubbel.” Wat Fückner betreft zouden menselijke en AI-gebaseerde aanbevelingen elkaar mooi kunnen aanvullen. “Je kunt voorzichtig experimenteren met een hybride systeem. Je kunt bijvoorbeeld kleine experimentjes doen waarbij je een van de drie aanbevelingen door AI laat doen, of waarbij je menselijke en AI-aanbevelingen afwisselt.”

Hoofdredacteur Robert Visscher is blij met de uitkomsten van het experiment. “Uit het onderzoek blijkt dat lezers diversiteit in aanbevelingen belangrijk vinden, en dat relevantie daarbij zwaarder weegt dan actualiteit. Juist daarom denk ik dat het voor NEMO Kennislink waardevol kan zijn om, in elk geval bij oudere artikelen en artikelen die niet in een serie of thema zijn ondergebracht, te experimenteren met AI-gebaseerde aanbevelingen. Wel is het belangrijk dat we op de site transparant zijn over het gebruik van AI én de ervaringen van lezers actief blijven monitoren.” 

En wanneer gaat zoiets er dan komen? “Het invoeren van zo'n AI-systeem en het ontwikkelen van een app vragen om een degelijk budget, daar zullen we binnen NEMO het gesprek over aan gaan.”