Gem langs de lat van oordeel AP en ACM

Begin oktober brachten de Autoriteit Consument & Markt (ACM) en Autoriteit Persoonsgegevens (AP) een oordeel uit waarin zij pleiten voor toegang tot menselijk contact en transparantie bij de inzet van AI-chatbots.
Een prachtige aanleiding om als Gem-gemeenten langs de meetlat te leggen in hoeverre we met de ontwikkeling van virtuele assistent Gem wel of niet passen binnen dat oordeel. Om met de positieve punten te beginnen.
Op de volgende onderdelen sluit Gem goed aan bij het oordeel van de ACM / AP:

Toegang tot menselijk contact
Het oordeel stelt dat er altijd de mogelijkheid moet zijn om een medewerker te spreken.
Het belangrijkste uitgangspunt bij Gem is dat we de inwoner willen helpen met zijn/haar vraag. Oftewel, als de inwoner liever met een medewerker wil spreken dan biedt Gem de mogelijkheid om naar een livechat-medewerker door te schakelen.

Transparantie
Het oordeel benadrukt dat het meteen duidelijk moet zijn dat iemand met een AI-chatbot praat.
Gem zegt als openingszin tegen de inwoner: “Hallo, ik ben Gem, de chatbot van de gemeente.” Ook is de avatar (de afbeelding van degene die spreekt) duidelijk een robot, geen poging een mens te lijken.
Gemeenten kunnen met hun avatar lokaal afwijken van de generieke oplossing.

Regie over antwoorden
Het oordeel vraagt dat organisaties verantwoordelijkheid nemen voor de juistheid en betrouwbaarheid van chatbot-antwoorden.
Na 6 jaar ontwikkelen heeft Gem uitgebreide gescripte antwoorden (stories) die antwoord kunnen geven op de vragen van inwoners. Deze kunnen ook gescrapet worden met generatieve AI. En, niet onbelangrijk, Gem heeft ook in zes jaar veel context opgebouwd op basis van inwonervragen. Dit helpt enorm bij het juist inzetten van generatieve AI. Daarnaast is er een gezamenlijke vastgestelde werkwijze voor het monitoren van de kwaliteit van de gesprekken die Gem voert.

Toegankelijkheid
Het oordeel waarschuwt dat chatbots een drempel kunnen vormen voor kwetsbare groepen.
We hebben bij Gem bij het ontwerp van de stories uitgebreid rekening gehouden met het toegankelijk, op B1 niveau aanbieden van antwoorden. Die antwoorden moeten bovendien zo kort en helder mogelijk zijn. Langere antwoorden komen daarom in ‘brokjes’ zodat deze beter te begrijpen zijn. Met de huidige chat-widget scoort Gem onvoldoende als het gaat om WCAG eisen. Daarom hebben de Gem-gemeenten uitgesproken om een nieuwe widget te willen ontwikkelen met componenten uit NL Design system. Daarvoor is inmiddels contact met ICTU als aanjager van NL Design system.
Zie ook: Inclusiviteit

Privacy en veiligheid
Het oordeel wijst op risico’s van datalekken en promptinjectie.
Voor Gem geldt: privacy-by-design. Bovendien zijn er passende beveiligingsmaatregelen getroffen zodat gesprekken die inwoners voeren met Gem veilig zijn en beperkt worden opgeslagen. In de huidige productieversie heeft promptinjectie geen waarde. Dit is bij de generatieve AI versie van Gem een onmiskenbaar aandachtspunt.

Op de volgende punten die ACM en AP noemen scoort Gem nog niet voldoende of kunnen aspecten beter.

Herkenbaarheid in ontwerp
Het oordeel waarschuwt voor “menselijk ogende” trucs zoals typende puntjes of avatars die suggereren dat er een persoon achter zit.
Hier zit een technisch dilemma voor de inzet van Gem. Als het even duurt voordat een reactie komt (van zowel bot als medewerker) willen we de inwoner wel het signaal geven dat er na invoer van een vraag iets gebeurt.

Wettelijke verankering
Het oordeel benadrukt dat er expliciet recht op menselijk contact in consumentenwetgeving moet komen (naar voorbeeld DSA/Digital Fairness Act).
Gem is met haar uitgangspunten op de voorlopersroute. Maar het vraagt continue afweging in ontwikkelingen met de vraag ”Helpen we hier de inwoner voldoende mee?”.

Transparantie-eisen onder de AI-verordening (2026)
Het oordeel zegt: dit vraagt om uniforme richtsnoeren voor presentatie en labeling van AI.
Binnen de ontwikkeling van Gem met generatieve AI is dit een aspect wat momenteel onderzocht wordt in de testfase. We zoomen daarbij specifiek in op de gebruikersbeleving op het herkennen of duidelijk zijn van met AI gegeneerde antwoorden versus door mensen gemaakte antwoorden.

Inclusiviteit
Het oordeel benoemt specifiek problemen bij mensen met een visuele of auditieve beperking, of lage digitale vaardigheden.
Zoals beschreven onder Toegankelijkheid: op dit punt is de huidige widget van Gem onvoldoende gebleken. Daarvoor worden ontwikkelstappen voorbereid om dit zo te verbeteren dat ook deze doelgroepen op een goede manier een gesprek kunnen voeren met Gem.