Mensen met afasie kampen veelal met woordvindingsproblemen. Computationeel taalkundige Frank Tsiwah ontwikkelt een AI-model dat afasiepatiënten kan ondersteunen in hun spraak.
Je spreekt vloeiend, maar wat je zegt slaat nergens op. Of het lukt juist niet om te articuleren. Of: je gebruikt de juiste woorden, maar grammaticaal klopt er niks van. Allemaal problemen waar je mee te maken kunt krijgen als je afasie hebt, een taalstoornis die het gevolg is van niet-aangeboren hersenletsel, bijvoorbeeld door een beroerte.
Afasie kent vele vormen, maar vrijwel alle mensen met deze aandoening hebben moeite om op woorden te komen. Frank Tsiwah, neurolinguïst en computationeel taalkundige aan de Rijksuniversiteit Groningen, onderzoekt hoe AI mensen daarbij kan helpen. Hoe kunnen grote taalmodellen het leven van afasiepatiënten verbeteren?
Vertaalprobleem
Frank Tsiwah groeide op in Ghana, waar hij taalwetenschap studeerde. In het laatste jaar van zijn bachelor ontmoette hij een Amerikaanse logopedist. Het verwonderde hem: er bestaat dus zoiets als therapie voor spraakproblemen? Hij werd vrijwilliger voor een NGO die kinderen met communicatieproblemen hielp, en besloot in Nederland klinische taalkunde te studeren: het deel van de taalwetenschap dat over taalstoornissen gaat. En zo komt het dat Tsiwah inmiddels AI inzet om mensen met afasie te helpen.
Bij afasie raakt een deel van het brein beschadigd, bijvoorbeeld door een herseninfarct of door dementie. Afhankelijk van welk dat deel is, ontstaan bepaalde taal- of spraakproblemen. Er zijn afasiepatiënten die nog gewoon kunnen spreken, maar inhoudelijk slaat wat ze zeggen nergens op. Ook problemen met taalbegrip horen bij dit soort afasie. Andere mensen begrijpen juist prima wat ze horen, maar kunnen niet meer vloeiend spreken: ze hakkelen, of maken grammaticale fouten. Beide groepen hebben woordvindingsproblemen: het gevoel dat het woord dat je wilt zeggen op het puntje van je tong ligt, maar wat was het nou ook alweer?
Tsiwah vertelt: “Na mijn promotie was ik bezig met computationele taalkunde, waarbij je computers taal laat verwerken en produceren. Ik dacht: wat nou als ik dat kan toepassen op taalstoornissen? Ik wist dat afasiepatiënten vaak gefragmenteerd spreken, met veel pauzes. Mijn idee was om dat te zien als een vertaalprobleem. Misschien konden we automatische vertalers inzetten om die niet-vloeiende spraak om te zetten naar gewone taal.”
Met de opkomst van kunstmatige intelligentie werd Tsiwah’s idee concreter. Grote taalmodellen, zoals ChatGPT, kunnen helpen bij het voorspellen van woorden. Tsiwah: “De hele architectuur van zulke taalmodellen is ontworpen om te berekenen welk woord er waarschijnlijk komt. Waarom gebruiken we die architectuur niet om eerst alles te volgen wat iemand zegt, en als diegene vastloopt, suggesties te geven voor wat die misschien wil zeggen?”
Puntje van je tong
Inmiddels is Tsiwah bezig met de uitvoering van zijn idee. Daarvoor moet hij eerst veel spraak van afasiepatiënten verzamelen, zodat zijn taalmodel kan leren hoe die taal eruitziet. Voor het Engels bestaan zulke taaldata wel, maar voor het Nederlands moet Tsiwah zelf een database creëren. Hij werkt hiervoor samen met Afasienet, een organisatie waar zowel medische professionals, wetenschappers, als patiënten bij betrokken zijn. Tsiwah: “Spraaktherapeuten in afasiecentra helpen me met data verzamelen. Ze stellen een patiënt een gewone vraag, zoiets als ‘Hoe was je vakantie?’. Zo verkrijgen ze 10 tot 15 minuten aan alledaags taalgebruik.”
De opnames gaan eerst een door Tsiwah ontworpen transcriptiemodel in, dat de spraak omzet in geschreven taal. De transcripten gebruikt Tsiwah om een zelf gebouwd taalmodel te trainen. Zo ‘leert’ dat model hoe typische afasie-spraak eruitziet, en kan het de pauzes herkennen die voorkomen wanneer iemand op zoek is naar een woord. “Het transcriptiemodel en het taalmodel vormen samen de basis van een app, die je op je telefoon of smartwatch kunt zetten”, legt Tsiwah uit. “Die app luistert mee met je gesprek. Als je blokkeert, geeft de app een aantal suggesties: ben je misschien op zoek naar dit woord, of naar dat?” Zo helpt de tool je weer op weg in de ‘puntje-van-je-tong-situaties’ die afasiepatiënten heel vaak ervaren.
Frank Tsiwah is neurolinguïst en computationeel taalkundige aan de Rijksuniversiteit Groningen.
Henk VeenstraAutocorrect
Voor het Engels heeft Tsiwah al een eerste versie van het taalmodel ontwikkeld en laten testen. Gebruikers geven aan dat de woorden die het model als suggestie geeft, inderdaad goed passen in de context van het gesprek. “Dat geeft vertrouwen”, zegt Tsiwah glimlachend. Maar hindernissen zijn er ook. Vooral de automatische transcriptie van opname naar geschreven taal is moeizaam. “Stel dat een patiënt het woord ‘smooshie’ zegt. Een transcriptieprogramma zal denken: dat woord ken ik niet, maar het zit in de buurt van ‘smoothie’, dus dat maak ik ervan. De software past voortdurend autocorrect toe.”
Zulke ‘foutloze’ tekst is niet geschikt als input voor Tsiwah’s taalmodel, want die moet nou juist typische afasietaal leren kennen. Tsiwah: “Automatische spraakherkenning is niet gemaakt voor niet-vloeiende spraak. Ik moet dus diep in die programma’s duiken, en ze dwingen om alles letterlijk te transcriberen, zonder na te denken over welk woord waarschijnlijk of onwaarschijnlijk is.”
Alledaagse gesprekken
Als dit lukt, zal Tsiwah’s onderzoek over een paar jaar klaar zijn, en kan de ontwikkeling van de app beginnen. Dat zal een grote stap zijn in de behandeling en ondersteuning van afasiepatiënten. Op dit moment gaan mensen met woordvindingsproblemen naar spraaktherapeuten, die een lijst hebben van driehonderd veelvoorkomende woorden. De patiënt krijgt een afbeelding te zien van een begrip op die lijst, en moet dan het juiste woord zeggen. Als je niet op het woord komt, geeft de therapeut een aanwijzing. Bij het woord ‘tafel’ zegt de behandelaar bijvoorbeeld: ‘het begint met t …’, of ‘denk aan stoel’.
Volgens Tsiwah zal zijn tool een grote toevoeging zijn, omdat die tijdens ieder gesprek ondersteuning biedt. “Het probleem met de bestaande methode is dat je die geïsoleerd gebruikt. Misschien leer je om die driehonderd woorden beter uit je geheugen op te halen, maar je weet niet of dat dan ook beter lukt in gewone gesprekken. De tool die met mijn onderzoek ontwikkeld kan worden, geeft suggesties wanneer iemand stilvalt in een alledaags gesprek. Diegene kiest dan zelf het best passende woord, en traint zo ook meteen het vermogen om in een echt gesprek de juiste woorden te vinden. Ik denk dat dat ook zal bijdragen aan hun herstel.”
Bij afasie raakt een deel van het brein beschadigd, bijvoorbeeld door een herseninfarct of door dementie.
Freepik, pressfotoPrivacy en veiligheid
De app zal worden getraind op taaldata van afasiepatiënten, en gaat meeluisteren naar complete gesprekken van gebruikers. Dat roept vragen op over privacy en veiligheid. Tsiwah denkt daar veel over na: “Hoe zorg ik dat de data veilig zijn? Ten eerste zal de verzamelde data en het model alleen op het apparaat van de gebruiker staan; de app gaat niet verbonden zijn met een cloud. Dus niemand kan bij de gegevens. Daarbij krijgen gebruikers altijd de mogelijkheid de app uit te zetten, bij persoonlijke gesprekken met hun partner bijvoorbeeld.”
Op deze manier zorgt Tsiwah dat de persoon die de app gebruikt altijd de controle heeft over hoe en wanneer data verzameld en gebruikt worden. Tsiwah: “Als computationeel taalkundige ken ik de risico’s van AI maar al te goed. Als de tool op de een of andere manier schade toebrengt, dan is het dat niet waard. Het is mijn passie om AI in te zetten voor het goede, in dit geval mensen met afasie helpen.”