AI kan veel, maar kan het ook taalvragen beantwoorden? De Taaladviesdienst van Onze Taal gaat het onderzoeken door een taalmodel te trainen op het enorme taalvragenarchief van Onze Taal. Als het lukt om daar betrouwbare taaladviezen mee te genereren, volgt stap twee: het ontwikkelen van een gratis online taaladviseur, de Taalassistent.
De Taaladviesdienst van Onze Taal geeft gratis, laagdrempelig taaladvies, zodat twijfel over een taalkwestie geen belemmering wordt in werk, opleiding of privé. Dat doet de dienst:
via de website met meer dan 2000 pagina's (die 800.000 keer per maand worden geraadpleegd)
door maandelijks meer dan 1000 vragen over taal te beantwoorden via mail, app en telefoon
Taalvragenstellers hebben echter steeds meer moeite om online een antwoord op hun vraag te vinden. Daarbij spelen demografische veranderingen, afnemende taalvaardigheid en onbekendheid met taalkundige termen (zoals 'lidwoord' of 'voorzetsel') een rol, maar ook het gebrek aan overzicht, beoordelingsvermogen en vertrouwen in de informatie die ze vinden.
Een AI-tool zoals ChatGPT is nog te onbetrouwbaar voor vragen over het Nederlands, en kan evident foute informatie met veel overtuigingskracht als waar presenteren. Dat leidt tot meer 1-op-1-vragen aan de Taaladviesdienst. We zien bijvoorbeeld een toename van vragen zoals 'ChatGPT zegt dit, maar klopt dat wel?'.
Onze Taal onderzoekt in dit project of een AI-tool, getraind met de rijke data van Onze Taal en andere betrouwbare open source (Nederlandse) taaldata een oplossing kan bieden. Kan zo'n eigen tool een hulpmiddel zijn voor taalgebruikers bij het zoeken en interpreteren van het antwoord op hun taalvraag?
Het project geeft antwoord op deze vragen:
Kan een AI-tool (de Taalassistent) worden ontwikkeld dat gevoed wordt met de data van Onze Taal en andere Nederlandse taalbronnen?
Hoe is zo'n tool het meest gebruikersvriendelijk in te zetten?
Is een betrouwbaarheid mogelijk van minimaal negentig procent? Als het gaat om inhoudelijke juistheid, de mate van zekerheid en de controleerbaarheid van het antwoord?
Welke investering is nodig om een breed inzetbaar model te bouwen en te trainen?
Het kernteam bestaat uit taaladviseurs van Onze Taal. Het Instituut voor de Nederlandse Taal ondersteunt bij het trainen en testen van het taalmodel en adviseert over de daarvoor benodigde infrastructuur. De Taalunie en Team Taaladvies van de Vlaamse overheid fungeren als klankbord en als externe adviseurs.
Resultaten
De antwoorden van onze pilot-Taalassistent blijken betrouwbaarder dan die van andere, generieke modellen, dus er zit zeker potentie in zo’n hulpmiddel. Maar een publieksvriendelijke tool die de juiste balans houdt tussen betrouwbaarheid en behulpzaamheid is nog ver weg. Een opvallende uitkomst: (deels) onjuiste AI-gegeneerde antwoorden zijn zo geformuleerd dat niet-experts ze vaak als juist beoordelen.
De volgende stap is het ophalen van meer middelen om onze vervolgvragen te beantwoorden en uiteindelijk een betrouwbare, behulpzame Taalassistent te ontwikkelen. Over het project zal worden gepubliceerd in het tijdschrift Onze Taal en in de eindejaarsuitgave van het Instituut voor de Nederlandse Taal (INT).
In dit interview over het project vertellen Vibeke Roeper, directeur van Onze Taal en Fieneke Jochemsen, coördinator van de taaladviesdienst, dat de taalassistent beter presteert dan ChatGPT en Google AI. Toch is dat niet goed genoeg. Fieneke beschrijft wat er in de praktijk misging: "Soms begon een antwoord heel goed, we herkenden er onze eigen bronnen in, maar nam het aan het einde een rare afslag. Of er werd informatie opgenomen die technisch niet onjuist was, maar gewoon niet relevant voor die vraag."
Een andere uitdaging zit in de aard van taaladvies zelf. Taal werkt niet als wiskunde. "Er is soms een officiële regel, maar die kun je in bepaalde gevallen loslaten. Of er zijn pragmatische oplossingen die in een specifieke tekst beter passen," legt Fieneke uit. Een taaladviseur redeneert voortdurend, vergelijkt situaties, trekt conclusies op basis van meerdere bronnen tegelijk en betrekt de vraagsteller en diens context erbij. Dat is een vaardigheid die moeilijk te automatiseren is.
Een van de meest opvallende bevindingen uit de pilot gaat niet over de kwaliteit van de antwoorden zelf, maar over hoe mensen die beoordelen. De onderzoekers lieten zowel professionele taaladviseurs als externe beoordelaars, mensen met kennis van taal maar zonder professionele achtergrond als taaladviseur bij Onze Taal, de AI-gegenereerde antwoorden beoordelen. De externe beoordelaars waardeerden de antwoorden van het generieke model vaak hoger dan die van de taalassistent, ook als die inhoudelijk minder correct waren.
"Wat we denken is dat het neerkomt op hoe overtuigend een antwoord klinkt," zegt Fieneke. "AI formuleert stellig en helder. Mensen zijn niet goed in staat om op basis van alleen de tekst te beoordelen of een antwoord betrouwbaar is." Ze zag hetzelfde bij Google AI: de antwoorden bevatten soms verwijzingen naar betrouwbare bronnen zoals onzetaal.nl, maar het antwoord zelf klopte niet. "Dat is voor een gewone internetgebruiker nauwelijks te ontdekken."
Dat maakt de zoektocht naar een betrouwbare taalassistent ingewikkelder dan verwacht. Een model dat altijd een antwoord geeft, is behulpzaam maar niet altijd betrouwbaar. Een model dat alleen antwoordt als het zeker is, stelt gebruikers voortdurend teleur. "Die balans vinden is echt een uitdaging," zegt Fieneke. "We hebben ook geprobeerd het model te laten aangeven wanneer iets niet letterlijk in de bronnen stond. Maar het resultaat was dat bijna elk antwoord begon met: dit staat niet expliciet in het bronmateriaal. Dat is ook niet behulpzaam."
De pilot is afgerond en de verslaglegging is klaar. Nu gaan Onze Taal en haar partners, waaronder de Taalunie en Vlaamse collega's, in gesprek over hoe de resultaten te interpreteren en wat een logische volgende stap is. "We vragen ons ook af wie de aangewezen partij is om dit te trekken," vertelt Vibeke.
Ook de vraag voor wie de taalassistent er uiteindelijk moet komen, ligt nog open. Vibeke ziet kansen als professioneel hulpmiddel, vergelijkbaar met hoe juristen AI gebruiken als zoekassistent. "Een professional die zegt: oké, dit zijn relevante uitspraken, dit is de richting, maar ik ga dit zelf nog bestuderen." Een tool voor middelbare scholieren of gewone internetters vraagt om meer: die groep heeft uitleg nodig over wat ze in handen hebben, wat de tool wel en niet kan, en hoe ze een antwoord kunnen interpreteren.
Zeker is dat de pilot veel heeft opgeleverd, al is het ook een waslijst aan nieuwe vragen. "We weten nu wat we niet weten," zegt Fieneke. "En dat heeft ontzettend veel waardevolle inzichten gegeven."
SIDN fonds ondersteunt dit project na een oproep om voorstellen in te dienen die zich richten op ‘Responsible AI in de praktijk'. We waren voor deze themacall op zoek naar vernieuwende onderzoeksprojecten die praktijkoplossingen bieden voor responsible AI.
Samen met Topsector ICT selecteerden we in totaal tien projecten.