Blog

  • Maar ChatGPT zei het…

    Maar ChatGPT zei het…

    Hoe één juridische blunder (februari 2026) laat zien waarom mensen AI te snel geloven

    Inleiding

    Automatisering maakt werk sneller. AI maakt het nóg sneller. En precies daar ontstaat een nieuw menselijk risico:
    automation bias — de neiging om de uitkomst van een systeem te volgen zonder voldoende kritische controle.

    Dat klinkt theoretisch, tot je ziet wat er gebeurt als “AI als hulpmiddel” stilletjes verandert in “AI als waarheid”.
    In februari 2026 legde een Amerikaans hof een boete op aan een advocaat nadat een ingediend stuk vol zat met verzonnen of
    ernstig verdraaide verwijzingen, gekoppeld aan AI-gebruik.
    Bron
    Die case is interessant omdat het niet gaat over “slechte AI”, maar over menselijk gedrag rond AI.

    Kern

    1) Wat er precies misgaat bij automation bias

    Automation bias heeft meestal twee gezichten:

    • Klakkeloos overnemen (commission error): het systeem zegt iets, dus het zal wel kloppen.
    • Niet meer zoeken naar wat ontbreekt (omission error): het systeem noemt iets niet, dus het zal wel niet relevant zijn.

    In de juridische voorbeelden zie je beide: AI produceert ogenschijnlijk nette citaties en de menselijke controle verschuift van
    “inhoud checken” naar “even scannen of het er professioneel uitziet”. Het resultaat: fouten gaan door de poort omdat het systeem
    autoriteit uitstraalt (vloeiend, stellig, goed geformatteerd).

    2) De actualiteit: waarom die rechtszaken zo’n goede illustratie zijn

    De boete van februari 2026 kwam niet uit het niets. Er zijn de laatste tijd meerdere sancties opgelegd voor AI-gegenereerde
    (en niet geverifieerde) citaties in rechtbankstukken.
    Bron
    Ook buiten de VS waarschuwen rechters expliciet voor het gebruik van AI bij het opstellen van juridische stukken na gevallen met
    niet-bestaande uitspraken.
    Bron

    Dit zijn schoolvoorbeelden van automation bias: de AI is niet “de schuldige” op zichzelf; de fout ontstaat doordat een mens of team
    de output behandelt alsof die al gecontroleerd is.

    3) Waarom AI dit effect versterkt

    Generatieve AI heeft drie eigenschappen die automation bias versnellen:

    • Vloeiendheid = schijnzekerheid
      Een antwoord dat goed geschreven is, voelt juist. Dat is precies de valkuil.
    • Snelheid verlaagt de drempel voor controle
      Als iets in 10 seconden “af” is, voelt 10 minuten checken disproportioneel.
    • Autoriteitsbias stapelt zich op automation bias
      Teams geven AI-output vaak onbewust het gewicht van een “tool” (dus: objectief), terwijl het in werkelijkheid een probabilistische generator is.

    4) Wanneer het risico het grootst is

    Automation bias neemt toe als:

    • de taak tijdsdruk heeft (deadline, incident, drukke inbox),
    • de gebruiker minder domeinkennis heeft,
    • de AI meestal “goed genoeg” is (vertrouwen groeit langzaam, controles verdwijnen),
    • de output in een professioneel format komt (citaties, tabellen, “officiële” toon).

    5) Hoe organisaties automation bias praktisch beperken

    Dit zijn ingrepen die in de praktijk het meest opleveren — zonder AI-voordeel weg te gooien:

    • Maak “controle” een processtap, geen karaktereigenschap.
      Bijvoorbeeld: “Elke feitelijke claim moet terug te leiden zijn naar een bron in de input/kennisbank.” (Niet: “Wees kritisch”.)
    • Zet “bewijs” boven “mooi antwoord”.
      Laat systemen standaard werken met bronpassages, citaten, of interne verwijzingen naar eigen kennisblokken (zeker bij beleid, cijfers, claims).
    • Introduceer een tweede lezing voor high-stakes output.
      Niet om te wantrouwen, maar om automation bias te doorbreken. In legal/finance/medisch: vier-ogen principe op feiten, niet op stijl.
    • Ontwerp de UI/flow tegen schijnzekerheid.
      Laat onzekerheid en aannames expliciet zien. Vermijd “definitieve toon” als de bronbasis dun is.
    • Train teams op de twee failure modes.
      Niet alleen “AI kan hallucineren”, maar:

      • “AI kan overtuigend fout zijn” (commission)
      • “AI kan cruciale dingen weglaten” (omission)

    Conclusie

    Automation bias is geen “domme fout”, maar een menselijk patroon dat sterker wordt naarmate systemen sneller, vloeiender
    en betrouwbaarder lijken. De recente juridische sancties maken dat tastbaar: de schade ontstaat niet omdat AI bestaat, maar omdat controle
    verdwijnt zodra AI-output normaal wordt.
    Bron

    De oplossing is daarom ook niet “minder AI”, maar AI met ingebouwde controlemomenten: bewijs-gedreven workflows, duidelijke
    checkregels en procesmatig terugleiden naar broninformatie. Dan blijft AI een versneller — zonder dat het stiekem de rol van waarheid
    overneemt.

  • Als de computer het zegt, zal het wel kloppen

    Als de computer het zegt, zal het wel kloppen

    Het stille gevaar van automation bias

    Ze werden beschuldigd van diefstal. Veroordeeld, gefailleerd, sommigen kwamen in de gevangenis terecht. Niet omdat ze iets hadden gedaan, maar omdat een computersysteem zei dat de cijfers niet klopten — en niemand dat systeem durfde te betwijfelen.

    Het verhaal van de Britse postmeesters en het Horizon-systeem is inmiddels een van de bekendste schandalen in de geschiedenis van de automatisering. Maar het is ook iets anders: een les over wat er gebeurt als mensen te veel vertrouwen op de uitkomst van een machine.

    Wat is er gebeurd?

    Vanaf 1999 rolde de Britse Post Office een nieuw boekhoudpakket uit — Horizon geheten — in zo’n veertienduizend postkantoren. Het systeem registreerde inkomsten en uitgaven automatisch. Handiger, sneller, betrouwbaarder dan papier. Althans, zo luidde de belofte.

    Maar Horizon bevatte fouten. Ernstige, structurele fouten die zorgden voor fictieve tekorten in de kasboeken van postmeesters door het hele land. Tekorten die er in werkelijkheid niet waren.

    Wat volgde, is ronduit verbijsterend. Meer dan 700 postmeesters werden door de Post Office vervolgd voor diefstal en valsheid in geschrifte. De redenering was simpel: het systeem registreert een tekort, dus er moet iemand in de kas hebben gezeten. Interne waarschuwingen over softwarefouten werden genegeerd. Tegenbewijzen van de postmeesters zelf werden weggewuifd. Want het systeem had het gezegd. En een systeem liegt toch niet?

    Een menselijke fout, geen computerprobleem

    Wat dit schandaal zo leerzaam maakt, is dat de kern van het probleem niet technisch was. De softwarefouten waren reëel, maar de eigenlijke ramp ontstond daarna — in de hoofden van de mensen die het systeem moesten beoordelen.

    Managers, juristen en rechters namen de uitkomsten van Horizon klakkeloos over. Niet omdat ze kwaadwillend waren, maar omdat een geautomatiseerd systeem nu eenmaal objectief lijkt. Cijfers liegen niet. Computers maken geen fouten. Wie durfde er te beweren dat de machine het bij het verkeerde eind had?

    Dit is automation bias in zijn meest destructieve vorm. Niet de fout van het systeem, maar het blinde vertrouwen erin — het opzijzetten van eigen waarneming, vakkennis en het gezond verstand van honderden mensen die allemaal zeiden: “Maar ik heb niets gedaan.”

    Dichter bij huis dan je denkt

    Het Horizon-schandaal is extreem, maar automation bias is alledaags. Een recruiter die een AI-gegenereerde shortlist niet meer kritisch bekijkt, omdat het systeem die toch al heeft samengesteld. Een arts die een diagnose van een algoritme overneemt zonder de patiënt goed te onderzoeken. Een jurist die een AI-samenvatting van een dossier als compleet beschouwt. Een ambtenaar die een fraudesignaal van een algoritme omzet in een beslissing, zonder zelf te toetsen of de feiten kloppen.

    In al deze gevallen speelt hetzelfde mechanisme: zodra een systeem een antwoord geeft, voelt verdere controle overbodig. Het model heeft het al gedaan. Waarom zou je het nog eens dunnetjes overdoen?

    Juist omdat systemen het merendeel van de tijd goed presteren, daalt de waakzaamheid. En dat is precies het moment waarop automation bias het gevaarlijkst is.

    Menselijk oordeel is geen zwakte

    De ironie is dat automation bias zichzelf versterkt. Hoe meer mensen de uitkomst van een systeem overnemen zonder controle, hoe normaler dat gedrag wordt — en hoe groter de drempel wordt om ertegenin te gaan. De recruiter die de shortlist wél in twijfel trekt, blokkeert het proces. De postmeester die zegt dat de cijfers niet kloppen, wordt niet geloofd.

    Maar menselijk oordeel is geen zwakte. Vakkennis, intuïtie, het gevoel dat iets niet klopt — dit zijn geen bijkomstigheden die een systeem overbodig maakt, maar noodzakelijke aanvullingen op wat een systeem kan. AI is een hulpmiddel, geen rechter.

    De les van Horizon

    De Britse overheid erkende het schandaal uiteindelijk in 2024. Veroordelingen werden teruggedraaid, compensatie betaald — maar de schade in mensenlevens valt niet terug te draaien. Vijfentwintig jaar na de invoering van Horizon staat vast wat al veel eerder duidelijk had kunnen zijn: het systeem klopte niet, en de mensen die dat zeiden hadden gelijk.

    Automation bias is niet het gevolg van domheid of nalatigheid. Het is een menselijk patroon dat sterker wordt naarmate systemen complexer en alomtegenwoordiger worden. De vraag is niet of we AI moeten vertrouwen. De vraag is of we onszelf nog genoeg vertrouwen om te zeggen: wacht even, laat mij hier zelf naar kijken.


    Automation bias beschrijft de neiging van mensen om blindelings te vertrouwen op de uitkomsten van geautomatiseerde systemen — ook als die uitkomsten onjuist zijn. Het zit niet in de machine, maar in de mens die hem gebruikt.