Risico en governance
Risk & Governance

Het recht om in te grijpen: wanneer mensen het algoritme moeten overrulen The Right to Override: When Humans Must Overrule the Algorithm

7 min lezen 7 min read Van Zon Advisory 2025

Elk AI-governancedocument belooft menselijk toezicht. Bijna geen enkel beschrijft wat er gebeurt als de mens het oneens is met de machine. Is er een knop? Wie mag erop drukken? Wat gebeurt er met zijn middag, en zijn beoordelingsgesprek, als hij het doet? Een override die op papier bestaat maar de medewerker een uur verantwoording kost, is geen toezicht. Het is theater, en vanaf augustus 2026 gaat de EU AI Act vragen of er substantie achter het theater zit.

Every AI governance document promises human oversight. Almost none of them describe what happens when the human disagrees with the machine. Is there a button? Who is allowed to press it? What happens to their afternoon, and their performance review, if they do? An override that exists on paper but costs the employee an hour of justification is not oversight. It is theatre, and from August 2026 the EU AI Act will start asking whether the theatre has substance behind it.

The rubber stamp problem

Het stempelprobleem

Put a human in the loop and something predictable happens: the human starts agreeing with the machine. Not because the machine is always right, but because agreeing is free and disagreeing is work. Psychologists call it automation bias. Operators call it Tuesday. After the model has been right two hundred times in a row, the two hundred and first output gets a glance, not a review.

Zet een mens in de lus en er gebeurt iets voorspelbaars: de mens begint het met de machine eens te zijn. Niet omdat de machine altijd gelijk heeft, maar omdat instemmen gratis is en tegenspreken werk. Psychologen noemen het automation bias. Operators noemen het dinsdag. Nadat het model tweehonderd keer op rij gelijk had, krijgt de tweehonderdeerste output een blik, geen beoordeling.

This matters because the rare wrong output is precisely the one the human was hired to catch. An oversight design that works when the model errs often, and fails when it errs rarely, is backwards. The better the model gets, the harder real oversight becomes, and the more deliberately it has to be designed.

Dit is belangrijk omdat de zeldzame foute output precies degene is die de mens moest vangen. Een toezichtsontwerp dat werkt als het model vaak fout zit, en faalt als het zelden fout zit, staat op zijn kop. Hoe beter het model wordt, hoe moeilijker echt toezicht wordt, en hoe bewuster het ontworpen moet worden.

Onder de EU AI Act, in werking sinds augustus 2024, moeten gebruiksverantwoordelijken van hoog-risicosystemen doeltreffend menselijk toezicht waarborgen. De artikelen 26 tot 29 gelden vanaf augustus 2026. Doeltreffend is het sleutelwoord. Een handtekeningregel onder een geautomatiseerde beslissing voldoet daar niet aan.
Under the EU AI Act, in force since August 2024, deployers of high-risk systems must ensure effective human oversight. Articles 26 to 29 apply from August 2026. Effective is the operative word. A signature line at the bottom of an automated decision does not meet it.

Four conditions for an override that works

Vier voorwaarden voor een override die werkt

ConditionWhat it requires in practiceHow it fails
ComprehensionThe overseer sees why the system decided, in language they understand, not a confidence score.The output is a number. The reviewer cannot evaluate what they cannot read.
AuthorityOverruling is within the overseer's mandate, no escalation needed for routine corrections.Every override requires a manager's sign-off, so nobody bothers.
TimeThe workload leaves room to actually examine flagged cases.One reviewer, four hundred decisions a day, ninety seconds each. Oversight in name only.
SafetyOverriding carries no career penalty, even when the human turns out wrong.Overrides are tracked as errors in the reviewer's statistics. The button rusts.
VoorwaardeWat het in de praktijk vereistHoe het faalt
BegripDe toezichthouder ziet waarom het systeem besliste, in taal die hij begrijpt, geen betrouwbaarheidsscore.De output is een getal. De beoordelaar kan niet evalueren wat hij niet kan lezen.
BevoegdheidOverrulen valt binnen het mandaat van de toezichthouder, geen escalatie nodig voor routinecorrecties.Elke override vereist een handtekening van een manager, dus niemand doet de moeite.
TijdDe werklast laat ruimte om gemarkeerde zaken echt te onderzoeken.Eén beoordelaar, vierhonderd beslissingen per dag, negentig seconden per stuk. Toezicht in naam alleen.
VeiligheidOverrulen kent geen carrièrestraf, ook als de mens fout blijkt te zitten.Overrides worden als fouten geteld in de statistieken van de beoordelaar. De knop roest.

The fourth condition is the one organisations underestimate. If your dashboard celebrates throughput and your overrides slow throughput down, you have built an incentive against the very oversight your governance promises. The metrics and the mandate have to point the same way.

De vierde voorwaarde is degene die organisaties onderschatten. Als uw dashboard doorvoer viert en uw overrides de doorvoer vertragen, heeft u een prikkel gebouwd tegen precies het toezicht dat uw governance belooft. De cijfers en het mandaat moeten dezelfde kant op wijzen.

Train for the disagreement, too. An overseer who has never practised overruling the system will hesitate at the real moment, when the queue is long and the model has been right all week. Rehearse it. Put deliberately flawed cases into the training set and let people feel what pressing the button costs. Cheap practice now buys the reflex you will one day need at full price.

Train ook voor de onenigheid. Een toezichthouder die nooit heeft geoefend met het overrulen van het systeem, aarzelt op het echte moment, wanneer de wachtrij lang is en het model de hele week gelijk had. Repeteer het. Stop bewust gebrekkige zaken in de trainingsset en laat mensen voelen wat het indrukken van de knop kost. Goedkope oefening nu koopt de reflex die u ooit tegen de volle prijs nodig heeft.

Watch the override rate like a vital sign

Bewaak het override-percentage als een vitale functie

Here is a diagnostic most organisations never run: count the overrides. Zero overrides across ten thousand decisions does not mean the model is perfect. It more likely means the humans have stopped looking. A healthy oversight function produces a small, steady stream of corrections, and each one is information about where the model's edges are.

Hier is een diagnose die de meeste organisaties nooit draaien: tel de overrides. Nul overrides op tienduizend beslissingen betekent niet dat het model perfect is. Het betekent waarschijnlijker dat de mensen gestopt zijn met kijken. Een gezonde toezichtsfunctie produceert een kleine, gestage stroom correcties, en elke correctie is informatie over waar de randen van het model liggen.

Amsterdam's Juris-Match works this way. The system prepares 800 to 1,000 objection cases a month and cut processing time by 40 percent, but the legal professionals decide. Their corrections are not friction in the process. They are the process, and the reason the number is defensible in front of a council or a court.

Amsterdams Juris-Match werkt zo. Het systeem bereidt 800 tot 1.000 bezwaarzaken per maand voor en verkortte de doorlooptijd met 40 procent, maar de juristen beslissen. Hun correcties zijn geen wrijving in het proces. Ze zijn het proces, en de reden dat het cijfer verdedigbaar is voor een raad of een rechter.

So put the override rate on the same dashboard as the throughput. Review both monthly. When the rate drifts to zero, do not celebrate. Investigate.

Zet het override-percentage dus op hetzelfde dashboard als de doorvoer. Beoordeel beide maandelijks. Wanneer het percentage naar nul zakt, vier het dan niet. Onderzoek het.

Ontwerp toezicht dat echt toeziet

Design oversight that actually oversees

Van Zon Advisory helpt organisaties menselijk toezicht in AI-systemen in te bouwen dat aan de EU AI Act voldoet en in de praktijk werkt.

Van Zon Advisory helps organisations build human oversight into AI systems that satisfies the EU AI Act and works in practice.

Plan een gesprek → Schedule a call →