3. Beoordelen wat eruit komt
Een AI-antwoord klinkt zelfverzekerd, ook als het niet klopt. Dat is het grootste risico van het hele onderwerp: de vorm suggereert gezag, terwijl de inhoud een gok kan zijn. Wie leert lezen als redacteur in plaats van als lezer, haalt er de fouten uit voordat iemand anders ze vindt.
Na dit hoofdstuk:
- Kun je uitleggen waarom een assistent zelfverzekerd klinkt bij een verzonnen antwoord.
- Weet je bij welke soorten vragen verzonnen feiten het vaakst opduiken.
- Herken je scheefstand en weet je bij welke taken je erop moet letten.
- Kun je de vijf controles uitvoeren voordat je iets doorstuurt.
- Weet je wat eigenaarschap betekent als een tekst met hulp van AI is gemaakt.
Verzonnen feiten
Een verzonnen feit is een antwoord dat onjuist is maar met exact dezelfde vloeiende toon wordt gebracht als een juist antwoord. Het model verzint een boektitel die niet bestaat, een wetsartikel dat is afgeschaft, een citaat dat nooit is uitgesproken, een webadres dat naar niets leidt of een cijfer dat nergens op steunt.
Het gebeurt niet uit kwade wil. Het model voorspelt woord voor woord wat waarschijnlijk is, en als er in zijn materiaal een gat zit, vult het dat gat aannemelijk op. Het heeft geen mechanisme om te merken dat het iets niet weet. Daarom komt er ook geen waarschuwing bij: het model kan het verschil zelf niet zien.
Er zijn vijf plekken waar dit bovengemiddeld vaak misgaat. Bij specifieke feiten: jaartallen, namen, bedragen, artikelnummers. Bij bronvermeldingen: verwijzingen naar boeken, artikelen, wetten en websites, een categorie waar de vorm heel makkelijk te imiteren is en de inhoud niet. Bij recente gebeurtenissen, die na de trainingsdatum van het model vielen. Bij nichevragen, waar weinig over geschreven is en het model dus weinig houvast heeft. En bij berekeningen in lopende tekst, waar het model niet echt rekent maar een plausibel getal opschrijft.
Vraag bij een feitelijk antwoord: geef bij elk feit aan waar het vandaan komt en hoe zeker je van die bron bent. Je dwingt de assistent zo om onzekerheid te tonen in plaats van door te bluffen. Is een bron niet te vinden of blijkt hij niet te bestaan, dan weet je genoeg over de rest van het antwoord.
Beleidsmedewerker Ilse bereidt een notitie voor over verzuim. Ze vraagt de assistent naar cijfers en krijgt terug dat het verzuim in haar sector "in 2024 op 6,1 procent lag, volgens het jaarlijkse verzuimonderzoek van de brancheorganisatie". Klinkt precies genoeg om over te nemen. Ilse zoekt het na: de brancheorganisatie doet geen jaarlijks verzuimonderzoek. Het cijfer en de bron zijn allebei bedacht, en ze zijn zo geformuleerd dat niemand er in een vergadering aan zou twijfelen. Ze gebruikt vervolgens het echte cijfer van het statistiekbureau, dat er net naast zat. Had ze het niet nagezocht, dan had de directie een verzonnen cijfer besproken.
Scheefstand
Het tweede probleem zit dieper en valt minder op. Een model is getraind op teksten uit de wereld zoals die geschreven is, met alle vooroordelen en blinde vlekken die daarin zitten. Die scheefstand sijpelt door in de antwoorden.
Ze werkt op drie lagen. In de bron: het trainingsmateriaal weerspiegelt hoe er over onderwerpen geschreven wordt, niet hoe het zou moeten zijn. In het model: patronen die vaak voorkomen worden tijdens de training versterkt. In de output: jouw vraag activeert die patronen, en het antwoord kan de scheefstand herhalen of zelfs uitvergroten.
Je merkt het vooral bij taken waar keuzes tussen personen, groepen of gezichtspunten in het geding zijn: vacatureteksten, beoordelingen, voorbeelden in lesmateriaal, de casussen die een assistent uit zichzelf verzint. Vraag je om drie voorbeeldprofielen voor een functie, let dan op wie er als eerste genoemd wordt, welke eigenschappen aan wie worden toegekend, en welk soort mens er helemaal niet in voorkomt.
Belangrijk verschil met verzonnen feiten: je kunt scheefstand niet nazoeken. Er is geen bron waarin staat dat het antwoord scheef is. Je ziet het alleen door zelf de vraag te stellen wie of wat er ontbreekt.
De vijf controles
Elke output verdient een korte controle voordat je hem doorstuurt of publiceert. Niet een halve dag, wel vijf gerichte vragen. Ze staan hieronder in de volgorde waarin je ze stelt.
1. Logica. Volgt de conclusie uit wat erboven staat, of klinkt het alleen goed? Een model is zo sterk in vorm dat een tekst samenhangend aanvoelt terwijl de redenering rammelt. Lees de argumenten en de conclusie los van elkaar en kijk of ze bij elkaar horen.
2. Feiten. Elk getal, elke naam en elke bron die ertoe doet, zoek je zelf na. "Die ertoe doet" is de begrenzing: je hoeft niet alles te controleren, wel alles waar iemand op zou kunnen varen. Als een cijfer in een besluit terechtkomt, controleer je het.
3. Toon. Past dit bij jouw stijl en bij de mens die het straks leest? Assistenten hebben de neiging tot vlotte, licht wervende taal met veel bijvoeglijke naamwoorden. Dat past zelden bij een brief over een afwijzing, een storing of een klacht.
4. Wat ontbreekt. Welk tegenargument, welk gezichtspunt of welke groep zie je niet terug? Dit is de controle die mensen overslaan, omdat je moet zoeken naar iets wat er niet staat. Het is ook de enige controle die scheefstand opvangt.
5. Jouw naam. Sta je hierachter als er morgen vragen over komen? Zo niet, dan is het nog niet klaar. Deze vraag vervangt alle andere als je haast hebt.
Teamleider Bart laat de assistent een vacaturetekst opstellen voor een functie op zijn afdeling. De tekst leest lekker weg. Bij controle 4 valt hem iets op: er staat drie keer iets over "een energieke teamspeler die goed gedijt in een dynamische omgeving" en er staat nergens wat iemand feitelijk gaat doen. Bovendien zijn alle drie de voorbeeldzinnen over doorgroeien gericht op iemand aan het begin van zijn loopbaan, terwijl Bart juist iemand met ervaring zoekt. Hij schrapt de sfeerwoorden, zet er vijf concrete taken in en haalt de verwijzingen naar leeftijd eruit. De assistent had hem een half uur schrijfwerk bespaard en er een half uur redigeren voor teruggegeven. Netto nog steeds winst, maar niet omdat hij de tekst zomaar overnam.
Jij blijft eigenaar
Bij alles wat je met AI doet geldt één principe: jij bent verantwoordelijk voor wat er onder jouw naam de organisatie uit gaat. De assistent is een hulpmiddel, geen collega en geen deskundige. "De AI zei het" is geen verweer, niet tegenover een klant, niet tegenover een toezichthouder en niet tegenover een collega die erop afgaat.
Dat heeft een praktisch gevolg dat vaak over het hoofd wordt gezien. Als je de tijd die je wint meteen weer volplant, komt de controle er niet van. Reken het nakijken mee als onderdeel van de klus. Een samenvatting die in twee minuten klaar is en vijf minuten nakijken kost, is nog steeds een prachtige ruil tegenover het uur dat het eerst kostte.
Er is ook een groeikant aan. Deze houding, kritisch kunnen omgaan met wat een model produceert, wordt AI-geletterdheid genoemd. Het is net zo'n basisvaardigheid geworden als mediawijsheid of digitale vaardigheden: iets wat je niet vanzelf hebt en wat je met oefenen opbouwt.
Neem een tekst die je met AI hebt laten maken, of maak er een.
- Loop de vijf controles langs en schrijf per controle op wat je vindt. Ook als je niets vindt.
- Zoek bij controle 2 ten minste één feit echt na in een betrouwbare bron. Klopte het?
- Vraag je bij controle 4 af wie er niet in de tekst voorkomt en wat er zou veranderen als die er wel in stond.
- Meet hoeveel tijd de vijf controles je kostten. Vergelijk dat met de tijd die je bespaarde.
Doe dit een week lang bij elke tekst. Na een paar keer gaan de eerste vier controles bijna vanzelf en houd je alleen het feitenwerk bewust over.
Samenvatting
- Een verzonnen feit is een onjuistheid die in dezelfde overtuigende toon wordt gebracht als een juist antwoord; het model kan het verschil zelf niet zien.
- Het gebeurt vooral bij specifieke feiten, bronvermeldingen, recente gebeurtenissen, nichevragen en rekenwerk in lopende tekst.
- Vraag om bronnen en om de mate van zekerheid. Een bron die niet bestaat zegt iets over de rest van het antwoord.
- Scheefstand werkt via bron, model en output, en je ziet hem vooral bij teksten over personen en groepen.
- Scheefstand kun je niet nazoeken. Je vangt hem alleen door te vragen wat er ontbreekt.
- De vijf controles: logica, feiten, toon, wat ontbreekt, en of je er met je naam achter staat.
- Reken de controle mee als onderdeel van de klus, anders verdwijnt de gewonnen tijd in nieuw werk.
- "De AI zei het" is geen verweer. Jij bent en blijft de eindredacteur.
Waarom waarschuwt een assistent je niet als hij iets verzint?
Wat is het wezenlijke verschil tussen een verzonnen feit en scheefstand?
Je hebt haast en kunt maar één van de vijf controles doen. Welke vraag vervangt de rest?