4. De uitkomst controleren
De lastigste fout van een taalmodel is het antwoord dat vlot loopt en toch nergens op slaat. Er gaat geen waarschuwingslampje branden, en de tekst klinkt niet onzeker. Wie AI-uitvoer onder eigen naam de deur uit doet, is verantwoordelijk voor elk cijfer, elke bron en elke zin die erin staat. Dit hoofdstuk gaat over de controle die daarbij hoort.
After this chapter:
- Begrijp je waarom een taalmodel feiten verzint zonder dat het dat merkt.
- Herken je de signalen waaraan je een verzonnen antwoord ziet.
- Weet je welke vijf soorten beweringen je altijd markeert.
- Kies je een controlebron die losstaat van het model.
- Bepaal je hoeveel controle een bepaald stuk werk verdient.
Waarom het gebeurt
Een taalmodel voorspelt steeds wat er waarschijnlijk volgt op wat er al staat. Het heeft geen lijst met feiten waarin het even nakijkt of iets klopt. Vraag je naar de auteur van een boek dat het model niet kent, dan is "ik weet het niet" statistisch een ongebruikelijk antwoord op zo'n vraag. Een plausibel klinkende naam past beter in het patroon. Het resultaat is een vlotte zin met een verzonnen kern. Dat heet in het vakgebied een hallucinatie, en de term dekt de lading redelijk: het model ziet iets wat er niet is.
Hetzelfde mechanisme zit achter de zwakke plekken bij cijferwerk. Voorspellen is iets anders dan rekenen. Bij kleine sommen gaat het meestal goed, omdat die combinaties duizenden keren in de trainingsgegevens voorkomen. Bij een korting op een korting, btw over een bedrag waar al marge in zit, werkdagen tussen twee data of "geef me precies 150 woorden" wordt het antwoord een plausibele gok in cijfervorm. Het ligt vaak dichtbij en klopt net niet.
De signalen
Vijf dingen in een antwoord verdienen extra argwaan.
- Verdachte precisie. Er verschijnen exacte zaaknummers, paginaverwijzingen of percentages tot achter de komma zonder dat je zelf een bron hebt meegegeven.
- Bekende naam, onbekend werk. Het model koppelt een bestaande auteur of organisatie aan een rapport dat je nergens terugvindt.
- Gladde stelligheid bij een nichevraag. Hoe specialistischer je vraag, hoe dunner het materiaal waarop het model is getraind. Een vlot antwoord over een obscure Nederlandse regeling is verdacht.
- Links die je zelf niet kunt openen. Verzonnen webadressen zijn een klassieker, zeker als het model niet live op het web zoekt.
- Antwoorden die precies bevestigen wat jij suggereerde. Zit er een aanname in je vraag, dan bouwt het model daar graag op door, ook als die aanname onjuist is.
Sanne werkt bij personeelszaken en vraagt: "Wat zegt artikel 7:658a van het Burgerlijk Wetboek over thuiswerkplekken?" Ze krijgt drie keurige alinea's terug met verplichtingen voor de werkgever en een verwijzing naar rechtspraak uit 2019. Alles leest professioneel en ze neemt twee zinnen over in een notitie aan de directie.
Het artikel gaat alleen niet over thuiswerkplekken. Haar vraag bevatte de aanname, en het model heeft die netjes ingevuld. Had ze gevraagd "welk artikel regelt de zorgplicht voor de thuiswerkplek, en als dat er niet is, zeg dat dan", dan had ze een eerlijker antwoord gekregen. Een neutrale vraag levert minder verzonnen bevestiging op.
Vraag niet "waarom is methode X effectiever dan Y", maar "vergelijk methode X en Y en geef aan waar het bewijs zwak is". Zonder ingebakken conclusie heeft het model niets om op door te bouwen.
Nalezen is niet controleren
Bij nalezen let je op wat vreemd klinkt, en precies daar zit het probleem: verzonnen passages klinken niet vreemd. Ze lezen vaak zelfs prettiger dan de waarheid, want het model kiest de meest gangbare formulering. Een feitencheck werkt daarom anders. Je leest niet op gevoel maar op categorie, en elke gemarkeerde bewering krijgt een uitkomst: hij klopt, hij klopt niet, of hij is niet te achterhalen. Die derde uitkomst is geen tussenvorm van de eerste: een bewering die je niet kunt nagaan, haal je eruit of schrijf je om.
- Getallen. Percentages, bedragen, jaartallen, aantallen en marktcijfers. Het model vult hier moeiteloos plausibele waarden in.
- Eigennamen. Personen, organisaties, functietitels, productnamen. Vooral bij Nederlandse namen en kleine organisaties gaat het mis.
- Verwijzingen. Wetsartikelen, cao-bepalingen, normen, rechtspraak, paginanummers en webadressen. Hoe exacter de verwijzing, hoe eerder je hem natrekt.
- Citaten. Elke zin tussen aanhalingstekens die aan iemand wordt toegeschreven. Een verzonnen citaat is inhoudelijk fout én reputatieschade.
- Causale beweringen. "Uit onderzoek blijkt dat X leidt tot Y." De formulering suggereert bewijs dat er niet altijd is.
Waar je controleert
De controlebron mag niet uit dezelfde koker komen als de bewering. Aan het model vragen of het antwoord klopt levert vooral bijval op, en een tweede AI-assistent die op vergelijkbaar materiaal is getraind maakt dezelfde fout met hetzelfde vertrouwen. Bruikbaar is wel de plek waar het feit vandaan komt: wetten.overheid.nl voor regelgeving, het CBS voor cijfers, het jaarverslag van de organisatie in kwestie, het oorspronkelijke artikel achter een citaat. Een zoekmachine gebruik je om die plek te bereiken, niet om een samenvatting ervan te lezen.
Ook als het model zelf op het web zoekt, blijft dit gelden. Je krijgt dan links te zien, en die links zijn echt. Wat er in de samenvatting van die link staat, is nog steeds gegenereerd. Het openen van de bron blijft jouw werk.
Hoeveel controle is genoeg
Alles natrekken kost vaak meer tijd dan het antwoord opleverde, en dan schiet het zijn doel voorbij. De maat ligt bij de schade: hoe zichtbaarder en hoe moeilijker terug te draaien de uitvoer is, hoe grondiger je nakijkt. Een lijst met invalshoeken voor een interne brainstorm vraagt om een blik. Een brief aan een klant, een subsidieaanvraag, een offerte of een tekst op je website vraagt om regel voor regel alle vijf de categorieën.
Joost maakt een offerte voor een klant en laat de begeleidende tekst schrijven. Er komt een vlotte alinea uit met de zin: "Organisaties die deze aanpak volgen, besparen gemiddeld 23 procent op hun doorlooptijd, blijkt uit onderzoek van TNO." Het staat er overtuigend, het cijfer is netjes oneven, en de bron klinkt gezaghebbend.
Hij markeert drie dingen: het getal (23 procent), de eigennaam (TNO) en de causale bewering (deze aanpak leidt tot besparing). Hij zoekt tien minuten en vindt geen enkel onderzoek dat hierbij past. Uitkomst voor alle drie: niet te achterhalen. Hij haalt de zin weg en zet er iets neer dat hij zelf kan waarmaken: "Bij onze laatste drie klanten in deze sector ging de doorlooptijd met ongeveer een vijfde omlaag." Die zin kost hem geen onderzoek, want hij weet dat hij klopt. Was de offerte de deur uit gegaan met het TNO-cijfer erin, dan had één oplettende inkoper genoeg geweest.
Laat een antwoord maken over een onderwerp waarin je zelf thuis bent, en dat feiten bevat: cijfers, namen, regels.
- Markeer elke bewering die in een van de vijf categorieën valt.
- Noteer per markering welke bron je nodig hebt om hem te controleren.
- Trek de drie meest riskante beweringen daadwerkelijk na.
- Tel: hoeveel gecontroleerd, hoeveel bevestigd, hoeveel onjuist, hoeveel niet vindbaar.
Schrijf tot slot in twee zinnen op wat er zou zijn gebeurd als je deze tekst ongecontroleerd had verstuurd.
Summary
- Een taalmodel voorspelt wat waarschijnlijk volgt; het kijkt niets na, dus het verzint zonder het te merken.
- Cijferwerk is om dezelfde reden zwak: het antwoord ligt vaak dichtbij en klopt net niet.
- Signalen: verdachte precisie, bekende naam met onbekend werk, gladde stelligheid bij een nichevraag, links die niet openen, en antwoorden die je eigen aanname bevestigen.
- Stel neutrale vragen, want een aanname in je vraag komt als bevestiging terug.
- Nalezen werkt niet: verzonnen passages klinken niet vreemd. Lees op categorie.
- Markeer altijd getallen, eigennamen, verwijzingen, citaten en causale beweringen.
- Controleer bij de oorspronkelijke vindplaats, nooit bij het model of bij een tweede AI-assistent.
- Hoe zichtbaarder en onomkeerbaarder de uitvoer, hoe grondiger de controle.
Waarom verzint een taalmodel een auteursnaam bij een boek dat het niet kent?
Je wilt nagaan of een wetsartikel uit een antwoord echt bestaat. Wat is een geldige controle?
Een gemarkeerd cijfer blijkt nergens terug te vinden. Wat is de juiste conclusie?
Ready for the next step?
Je hebt de gratis starter van ChatGPT afgerond. Het volgende hoofdstuk in de volledige training is Hoe een taalmodel werkt: Het volgende woord voorspellen, waar een model op getraind is en hoe een ruw taalmodel een chatassistent wordt.
Volg de 1-daagse training →Vanaf €625,- excl. btw · met een ervaren trainer erbij