Als vervolg op het eerder uitgebrachte Witboek heeft de Europese Commissie op 21 april 2021 een voorstel voor een verordening gepresenteerd waarin een regelgevend kader wordt gegeven voor de inzet van Kunstmatige Intelligentie (‘Artificial Intelligence’, ook wel AI genoemd). De EU wil daarmee versnippering in de markt voorkomen, het vertrouwen in het gebruik van AI bevorderen, maar tegelijkertijd de risico’s die daarmee gepaard gaan, beperken. De boodschap van de Europese Commissie is duidelijk: de veiligheid en grondrechten van mensen en bedrijven staan voorop en moeten worden gewaarborgd.
Het betreft dus een conceptverordening die nog door de Lidstaten zal worden becommentarieerd. Gelet op het belang van deze verordening kan het geruime tijd duren voordat de definitieve verordening gereed zal zijn.
AI wordt al veel toegepast
AI is een techniek waarmee systemen door middel van een combinatie van algoritme(n), data en rekenkracht in staat zijn om in enige mate ‘intelligent’ gedrag vertonen, bijvoorbeeld door zelflerend te zijn. Voorbeelden van applicaties waarin AI wordt toegepast, zijn diensten zoals Netflix en Spotify. Op basis van ons kijk- en luistergedrag leren deze systemen welke films en series wij leuk vinden en welke muziek we graag luisteren. Vervolgens doet het systeem ons aanbevelingen. AI is tevens te vinden in veel klantenservices, zoals de chatbots waaraan je je vraag kunt stellen. Daarnaast wordt AI al toegepast in de gezondheidszorg, bijvoorbeeld als hulp bij diagnosticeren.
Er zijn allerlei soorten AI, zoals machine learning en deep learning. Vaak is niet duidelijk hoe het algoritme precies werkt. Dit wordt ook wel de ‘black box’ genoemd. Dit gebrek aan transparantie, de complexiteit van AI en connectiviteit met andere diensten en producten, kunnen een effectieve handhaving van bestaande veiligheidswetten en grondrechten in de weg staan. Daarom heeft de Europese Commissie een nieuw regelgevend kader ontwikkeld.
Op wie is de verordening van toepassing?
De verordening zal van toepassing zijn op zakelijke publieke en private partijen binnen en buiten de EU die een AI-systeem in de Unie in de handel brengen, of die een AI-systeem gebruiken dat impact heeft op Unieburgers. Daarbij gaat het zowel om ontwikkelaars (aanbieders) als gebruikers van AI-systemen.
Risicobenadering: van verboden AI-toepassingen tot beperkte risico’s
De conceptverordening met betrekking tot AI-systemen hanteert een risicogebaseerde aanpak. Er wordt onderscheid gemaakt tussen (1) minimaal risico, (2) beperkt risico, (3) hoog risico en (4) onacceptabele AI-systemen. De voorschriften verschillen per risicocategorie: hoe groter het risico, hoe strenger de regels.
Onacceptabel risico (verboden AI-systemen)
Deze categorie betreft systemen die een duidelijke bedreiging vormen voor de veiligheid, bestaansmiddelen of grondrechten van mensen. Dit zijn systemen die (ongemerkt) menselijk gedrag manipuleren, wat kan leiden tot fysieke of psychische schade, bijvoorbeeld een ‘social credit’-systeem. Daarnaast betreft het systemen die het mogelijk maken om mensen op grote te schaal te identificeren en te volgen in de openbare ruimte, bijvoorbeeld door gezichtsherkenning. Dit soort toepassingen worden dus in beginsel verboden.
Grootschalige gezichtsherkenning mag enkel worden toegepast voor specifieke veiligheidsdoeleinden, bijvoorbeeld in het kader van terrorismedreiging of voor het opsporen van criminelen of juist van specifieke slachtoffers.
Interessant is wel of gezichtsherkenningssystemen die op dit moment al in gebruik zijn, wel echt zijn gericht op het ‘identificeren’ van personen en dus onder dit verbod zullen vallen. Vaak zijn dergelijke systemen niet zozeer gericht op identificatie van de persoon, maar op het herkennen van bepaald gedrag. Dit soort systemen hebben vanzelfsprekend wel impact op de veiligheid en grondrechten van mensen en bedrijven, maar worden in de conceptverordening niet (helder) als hoog of zelfs onacceptabel risico geadresseerd.
Hoog risico AI-systemen
In de conceptverordening is als ‘hoog risico’ toepassing aangemerkt een AI-systeem dat bedoeld is om te worden gebruikt als veiligheidscomponent in een product, of dat op zichzelf als product wordt aangemerkt in de specifieke regelgeving die als bijlage bij de conceptverordening is gevoegd. Dit betreft verschillende bestaande Europese richtlijnen. Indien een product op grond van die specifieke regelgeving gehouden is om een conformiteitsbeoordelingen door derden te ondergaan, vormt het tevens een hoog risico.
Daarnaast is een separate lijst met risicovolle AI-systemen als bijlage bij de conceptverordening gevoegd. Deze lijst kan aan de hand van in de verordening vastgestelde criteria tussentijds worden aangepast. Dat maakt de verordening toekomstbestendig. Voorbeelden van systemen die als hoog risico op die lijst zijn opgenomen, zijn AI-systemen die worden toegepast in de kritieke infrastructuur, in het onderwijs, in werkgelegenheid of personeelsbeheer, essentiële diensten, in wetshandhaving door bijvoorbeeld de politie, bestuurlijke processen of asielzaken.
Verplichtingen voor hoog risico AI-systemen
Een groot deel van de conceptverordening ziet op verplichtingen voor hoog risico AI-systemen. Kort gezegd zijn de verplichtingen gericht op:
- risicomanagement van AI-systemen;
- de kwaliteit en training van de datasets;
- documentatie van de gebruikte techniek;
- het aanbrengen van automatische logging in AI-systemen;
- transparantie en informatieverstrekking aan gebruikers zodat de output kan worden begrepen;
- het aanbrengen van mogelijkheden tot menselijk toezicht;
- nauwkeurigheid, robuustheid en cybersecurity.
Ook aan de ontwikkelaars en gebruikers van AI-systemen zullen verplichtingen worden opgelegd. Zij moeten er niet alleen voor zorgen dat de systemen aan bovengenoemde eisen voldoen, maar tevens dat zij zelf beschikken over een kwaliteitsmanagementsysteem waarmee compliance met de verordening kan worden aangetoond. Voordat een AI-systeem op de markt mag worden gebracht, zal de ontwikkelaar een conformiteitsbeoordeling moeten (laten) uitvoeren. Op importeurs, distributeurs, gebruikers en andere derde partijen wordt tevens de verplichting gelegd om deze conformiteitsbeoordelingen te controleren. De verplichtingen tot kwaliteits- en risicobeheersing gelden ook nadat een systeem in de handel is gebracht.
Andere AI-systemen (beperkt/minimaal risico)
Ten aanzien van AI-systemen die een beperkt risico vormen, zullen slechts transparantievereisten gaan gelden. Bijvoorbeeld bij het gebruik van deep fakes zal dus duidelijk moeten worden gemaakt dat het gaat om een algoritme. AI-systemen met een minimaal risico, bijvoorbeeld aanbevelingsalgoritmes zoals Spotify of Netflix bijvoorbeeld gebruiken, kunnen zonder extra regels blijven functioneren. Wel wordt in de conceptverordening aangemoedigd tot het opstellen van onderlinge gedragscodes voor AI-systemen die geen hoog risico systemen zijn.
Handhaving
De lidstaten zullen worden verplicht om een nationale toezichthoudende autoriteit aan te wijzen. Deze autoriteit zal de lidstaat tevens vertegenwoordigen in het aan te stellen Europees comité voor kunstmatige intelligentie. Voor ontwikkelaars van AI-systemen wordt een meldplicht voorgesteld van ernstige incidenten en defecten. Ontwikkelaars dienen dit te melden aan de aangestelde autoriteit.
In de conceptverordening zijn bovendien forse boetes opgenomen voor overtredingen van de voorschriften in de verordening:
- 30 miljoen euro boete of 6% van de wereldwijde omzet indien dat hoger is
- Voor overtreding van het verbod op bepaalde AI-systemen;
- Voor overtreding van de voorschriften met betrekking tot de gebruikte datasets;
- 20 miljoen euro boete of 4% van de wereldwijde omzet indien dat hoger is
- Voor overtreding van de overige verplichtingen met betrekking tot kwaliteit en transparantie;
- 10 miljoen euro of 2% van de wereldwijde omzet indien dat hoger is
- Voor het niet correct, niet compleet of misleidend informeren van de nationale toezichthoudende autoriteit.
Vervolg
Dit voorstel voor de AI-Verordening dient nog te worden beoordeeld door het Europees Parlement en de Raad. Afhankelijk van de mate van gevoeligheid van de materie kan dat een langdurig proces zijn. Mogelijk zullen nog vele veranderingen in de verordening worden doorgevoerd. Wij houden u van de ontwikkelingen op de hoogte.
Vragen?
Heeft u vragen over de regelgeving rondom AI, cybersecurity of privacy? Neem contact op met Nynke Brouwer of een van de leden van het Cybersecurity Team of Privacy Team.
