Nauwkeurigheid versus uitlegbaarheid: het betere model dat u niet kunt verdedigen Accuracy Versus Explainability: The Better Model You Cannot Defend
Een bank test twee kredietmodellen. Het complexe is drie procent nauwkeuriger en kan geen enkele beslissing uitleggen die het maakt. Het eenvoudigere is iets slechter en kan elke afgewezen aanvrager precies vertellen waarom. Op pure prestatie is de keuze duidelijk, en ze is fout. Wanneer een model iets beslist dat iemands leven raakt, is het vermogen om te zeggen waarom geen leuke extra die netjes tegen nauwkeurigheid inruilt. Soms is het het belangrijkere getal, en de hogere score is degene die u niet kunt gebruiken.
A bank tests two credit models. The complex one is three percent more accurate and cannot explain a single decision it makes. The simpler one is slightly worse and can tell any rejected applicant exactly why. On pure performance the choice is obvious, and it is wrong. When a model decides something that affects a person's life, the ability to say why is not a nice-to-have that trades cleanly against accuracy. Sometimes it is the more important number, and the higher score is the one you cannot use.
Why the best model is often the most silent
Waarom het beste model vaak het meest zwijgzame is
The tension is built into how models work. A simple model uses a few factors in ways a person can follow: approve if income clears this line and history looks like that. A complex model finds thousands of subtle interactions across the data, which is exactly what makes it more accurate, and exactly what makes it unable to tell you why it decided anything. The accuracy and the opacity come from the same source. You cannot always keep one without the other.
De spanning zit ingebouwd in hoe modellen werken. Een eenvoudig model gebruikt een paar factoren op manieren die een mens kan volgen: keur goed als inkomen deze grens haalt en historie er zo uitziet. Een complex model vindt duizenden subtiele interacties in de data, wat precies is wat het nauwkeuriger maakt, en precies wat het onmogelijk maakt u te vertellen waarom het iets besloot. De nauwkeurigheid en de ondoorzichtigheid komen uit dezelfde bron. U kunt niet altijd de een behouden zonder de ander.
For a long time the industry treated this as a pure engineering trade: pick the higher score. That framing works right up until the decision lands on a person who is owed an explanation, and then it collapses.
Lange tijd behandelde de industrie dit als een pure engineeringruil: kies de hogere score. Die framing werkt tot precies het moment dat de beslissing landt op een persoon die een uitleg verschuldigd is, en dan stort ze in.
De EU AI Act koppelt uitlegbaarheid aan wat er op het spel staat: hoog-risicosystemen die mensenrechten raken, dragen plichten om begrijpelijk en betwistbaar te zijn, met verplichtingen voor gebruiksverantwoordelijken vanaf augustus 2026. Voor die toepassingen is een onuitlegbaar model geen hoge score. Het is een compliancekloof.
The EU AI Act ties explainability to stakes: high-risk systems affecting people's rights carry duties to be understandable and contestable, with deployer obligations from August 2026. For those uses, an unexplainable model is not a high score. It is a compliance gap.
Let the stakes choose the model
Laat de inzet het model kiezen
The resolution is to stop treating this as one universal trade and let the stakes decide it case by case. Where a decision is low-stakes or easily reversed, and nobody needs a reason, take the accuracy and enjoy it: a product recommendation, a spam filter, a routing choice. Where a decision materially affects a person and they can rightfully ask why, the model has to be able to answer, and a slightly lower score is a price worth paying for a decision you can defend to the person, a regulator, and a court.
De oplossing is dit niet langer als één universele ruil te behandelen en de inzet het per geval te laten beslissen. Waar een beslissing lage inzet heeft of makkelijk omkeerbaar is, en niemand een reden nodig heeft, neem de nauwkeurigheid en geniet ervan: een productaanbeveling, een spamfilter, een routekeuze. Waar een beslissing een persoon wezenlijk raakt en hij terecht kan vragen waarom, moet het model kunnen antwoorden, en een iets lagere score is een prijs die het waard is voor een beslissing die u kunt verdedigen tegenover de persoon, een toezichthouder en een rechter.
There is a quiet trap worth naming. Three percent more accuracy on a model that produces decisions you cannot justify is not three percent more value. It can be a liability, because every unexplained decision is one you cannot defend when challenged, and consequential decisions do get challenged. The score that looks higher on the test set can be the lower one once the cost of being unable to explain a single refusal is counted. Accuracy you cannot stand behind is not the asset it appears to be.
Er is een stille valstrik die het benoemen waard is. Drie procent meer nauwkeurigheid op een model dat beslissingen produceert die u niet kunt rechtvaardigen, is geen drie procent meer waarde. Het kan een aansprakelijkheid zijn, want elke onuitgelegde beslissing is er een die u niet kunt verdedigen wanneer ze wordt aangevochten, en gevolgrijke beslissingen worden aangevochten. De score die op de testset hoger lijkt, kan de lagere zijn zodra de kost van het niet kunnen uitleggen van één weigering is meegeteld. Nauwkeurigheid waarachter u niet kunt staan, is niet het bezit dat het lijkt.
There is also a middle path worth naming, because the trade is softening. A growing set of techniques can make a complex model explain itself after the fact, offering a readable account of which factors drove a given decision. These are not perfect, and a reconstructed explanation is not the same as a model that was simple to begin with. But they widen the band in which you can have most of the accuracy and enough of the explanation to defend the call.
Er is ook een middenweg die het benoemen waard is, want de ruil wordt zachter. Een groeiende set technieken kan een complex model zichzelf achteraf laten uitleggen, met een leesbaar verslag van welke factoren een gegeven beslissing dreven. Deze zijn niet perfect, en een gereconstrueerde uitleg is niet hetzelfde als een model dat van begin af aan eenvoudig was. Maar ze verbreden de band waarin u het meeste van de nauwkeurigheid kunt hebben en genoeg van de uitleg om de beslissing te verdedigen.