Systematiek van de wet
Het verbod op geautomatiseerde besluitvorming ligt vast in artikel 22 AVG.
De opbouw van het artikel is in de kern als volgt: lid 1 bevat het verbod, lid 2 geeft de uitzonderingen op het verbod en in lid 3 staat uitgewerkt welke waarborgen in acht moeten worden genomen bij de uitzonderingen.
Het verbod ziet dan op het niet onderwerpen van betrokkene aan een "uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft".
"Computer says no" al tientallen jaren gereguleerd
Dit verbod is al heel erg oud. Het bouwt namelijk voort op artikel 15 van de privacyrichtlijn uit 1995. En het stond vervolgens jarenlang keurig in artikel 42 Wet bescherming persoonsgegevens.
Daar leidde het een heel sluimerend bestaan gelet op het uiterst minimale aantal verwijzingen naar andere documenten in LiDO. Simpel gezegd: hier werd eigenlijk nooit over geprocedeerd.
Recente rechtspraak brengt het verbod tot leven
Enkele weken geleden wees het Hof van Justitie twee arresten inzake Schufa. Uit die arresten volgt dat het verbod op geautomatiseerde besluitvorming ruim moet worden uitgelegd.
Het Hof werkt in Schufa I (over profilering bij kredietverlening) allereerst uit dat voor geautomatiseerde besluitvorming in de zin van artikel 22 AVG aan drie cumulatieve voorwaarden moet worden voldaan. Deze drie voorwaarden legt het Hof stuk voor stuk uit, zoals hieronder weergegeven.
|
Criterium |
Toelichting |
|
1. Een besluit; |
Dit begrip is niet in de AVG uitgewerkt, maar uit doel en strekking van de AVG volgt dat dit begrip ruim bedoeld is. Het gaat niet alleen om handelingen met rechtsgevolgen, maar ook handelingen die betrokkene anderszins in aanmerkelijke mate treffen. Het resultaat van een solvabiliteitsberekening valt er in ieder geval ook onder.
|
|
2. dat uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd is; en |
Profilering valt hier al per definitie onder en uit de vraagstelling van de Duitse rechter volgt al dat in deze kwestie sprake is van geautomatiseerde verwerking, dus ook aan dit criterium is voldaan |
|
3. dat aan dat besluit voor de betrokkene rechtsgevolgen zijn verbonden of dat het hem anderszins in aanmerkelijke mate treft |
Uit de vraagstelling door de Duitse rechter volgt al dat de kredietverlener zijn besluit hoofdzakelijk baseert op de score van Schufa. Dat betekent dat bij een negatieve score het krediet welhaast altijd wordt geweigerd. Onder die omstandigheden wordt dus ook aan dit criterium voldaan, al in de fase van de vaststelling van de waarde door Schufa als handelsinformatiebureau. |
Ook werkt het Hof in het arrest uit dat wanneer de analyse en de beslissing in verschillende handen zijn, terwijl de beslisser in feite helemaal leunt op de eerdere analyse, dat ook dan het verbod van toepassing is.
De credit score (het geautomatiseerde besluit) mag in de gegeven omstandigheden dus alleen worden vastgesteld binnen de kaders van artikel 22 AVG: alleen in de situaties waarin het is toegestaan (lid 2), met inachtneming van waarborgen (lid 3) en met respect voor het verbod op het verwerken van bijzondere persoonsgegevens (lid 4). Ook benadrukt het Hof dat bij geautomatiseerde besluitvorming aan verzwaarde informatieplichten moet worden voldaan. Die zware eisen worden gerechtvaardigd door de mogelijke risico’s voor betrokkene, zoals het risico op discriminatie.
Meer details in recente VAST-publicatie
Dit kader van het Hof roept nog wel de nodige vragen op. In een recente publicatie op VAST ben ik dieper op deze materie ingegaan. Zie VAST | Verzekeringsrecht, aansprakelijkheid, schade en toezicht (vast-online.nl). Dit artikel is binnenkort ook hier op de site na te lezen: Credit scoring en geautomatiseerde besluitvorming aan banden gelegd. De wetgever aan zet? (dirkzwager.nl).
Slotopmerking
Een deel van wat de AI-wetgeving beoogt te doen is het reguleren van risico's van "zelfdenkende" computers (zie ook diverse blogs van collega Thijmen). Zodra er persoonsgegevens worden verwerkt, en zodra betrokkene last kan hebben van de uitkomst van die verwerking, dekt de AVG dat risico echter nu al af. Bij een "zelfdenkende" computer die voor betrokkene vervelende besluiten neemt zal het verbod op geautomatiseerde besluitvorming uit de AVG namelijk veelal al van toepassing zijn. Daar is geen toekomstige AI-wet voor nodig.
Tegelijkertijd is wel duidelijk dat - juist omdat de wet zo lang een sluimerend bestaan leidde - dat de wet wellicht nog wat verder afgepoetst moet worden. Mogelijk is te lang onvoldoende in beeld geweest dat dit verbod er is en is het dus wellicht noodzakelijk met aanvullende wetgeving te komen. Zij het dat de ruimte daarvoor in privaatrechtelijke context weer beperkt lijkt (zie ook VAST publicatie).
Linksom of rechtsom: toets in ieder geval kritisch of eventuele geautomatiseerde besluitvorming in uw organisatie voldoet aan deze eisen uit de AVG. En bereid u tegelijkertijd voor op de aanvullende eisen die AI-wetgeving straks gaat brengen. Heeft u hierover vragen, neem dan gerust contact op.
