Onderzoekswaardigheid: Slimme check levensonderhoud

De gemeente Amsterdam verstrekt bijstandsuitkeringen uit aan Amsterdammers die daar recht op hebben. Niet iedereen die een bijstandsuitkering aanvraagt, komt in aanmerking voor een uitkering. Daarom onderzoeken we bijstandsaanvragen die mogelijk onrechtmatig zijn. De gemeente Amsterdam wil voorkomen dat Amsterdammers ten onrechte bijstand krijgen, daardoor schulden opbouwen en in de problemen komen.

Ook Amsterdammers die wél recht hebben op bijstand worden weleens onderzocht door een medewerker van Handhaving Werk en Inkomen. Dat willen we zo veel mogelijk voorkomen, want zo’n onderzoek kan vervelend zijn. Daarom testen we of een algoritme ons kan helpen om te bepalen welke aanvragen wel en niet onderzocht moeten worden. Zodat Amsterdammers minder last hebben van onze handhaving én zodat minder Amsterdammers in de problemen komen. Maar ook om ervoor te zorgen dat de verstrekking van bijstand betaalbaar blijft.

Op dit moment bepaalt een medewerker of een aanvraag onderzoekswaardig is, en of dit door een medewerker met aanvullende bevoegdheden moet worden beoordeeld. Het algoritme ‘Slimme check’ ondersteunt de medewerker om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is. Het algoritme maakt transparant en uitlegbaar welke data hebben geleid tot het label ‘onderzoekswaardig’. Alle data die worden gebruikt om tot een beoordeling te komen, worden gedocumenteerd en beschreven. 

Pilot
De gemeente doet van april tot en met juli 2023 een pilot met een nieuwe werkwijze. In deze pilot bepaalt het algoritme ‘slimme check’ of een aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ krijgt. Dit wordt daarna door een medewerker van Handhaving Werk en Inkomen gecontroleerd. Het algoritme kan verbanden en patronen vinden in een grote hoeveelheid informatie over aangevraagde bijstandsuitkering en bepaalt welke informatie vaker in verband kan worden gebracht met aanvragen waarvoor een nader onderzoek noodzakelijk was en welke niet. ‘Slimme check’ is getraind op historische data en bestaat uit vijftien datapunten. Na afloop van de pilot bepalen we of deze manier van werken beter is voor de Amsterdammer. 

Deze nieuwe werkwijze van de pilot heeft een aantal voordelen:

• Gelijkwaardigheid: We hebben de vooringenomenheid (‘bias’) van het algoritme geanalyseerd. Daaruit bleek dat op vrijwel alle gevoelige kenmerken (zoals leeftijd, geboorteland en nationaliteit) het ontwikkelde model verschillende groepen gelijkwaardiger behandelt dan nu gebeurt.
• Effectiviteit: Het model kan beter inschatten welke aanvragen onderzoekswaardig zijn dan een medewerker. Daardoor kan de capaciteit beter benut worden, en worden minder onrechtmatige uitkeringen verstrekt.
• Proportionaliteit: Omdat het model beter kan inschatten welke aanvragen extra gecontroleerd moeten worden, komt het minder vaak voor dat aanvragen onnodig extra worden onderzocht. Dit leidt tot een betere proportionaliteit. Ook voorkomen we vaker de onrechtmatige verstrekking van uitkeringen, wat leidt tot een meer preventieve in plaats van repressieve aanpak.

Er is geen sprake van geautomatiseerde besluitvorming. Het algoritme adviseert alleen of een aanvraag extra onderzocht moet worden. Na dit advies doen verschillende medewerkers nog uitgebreid onderzoek.

1. Eerst kijkt een medewerker van de afdeling Handhaving Werk en Inkomen of de aanvraag wel echt onderzoekswaardig is.
2. Als dit het geval is, doet een andere medewerker van de afdeling Handhaving Werk en Inkomen een uitgebreid onderzoek naar de rechtmatigheid. 
3. Hierover wordt een advies uitgebracht en weer een andere medewerker (van Inkomensvoorziening) neemt het uiteindelijke besluit.

Er is dus geen geautomatiseerde besluitvorming. Er is sprake van betekenisvolle menselijke tussenkomst voordat een besluit wordt genomen. Er worden werkinstructies opgesteld om teveel vertrouwen in de uitkomst van het model (automation bias) te voorkomen. Daarnaast volgen de medewerkers een training over hoe ze de informatie uit het model moeten gebruiken in hun werkproces.   

Voor dit product zijn wij uitgegaan van het Kader van de Algemene Rekenkamer. Daarnaast zijn de belangrijkste risicomanagementanalyses de DPIA (Data Protection Impact Assessment), KIIA (Kunstmatige Intelligentie Impact Assessment), IAMA (Impact Assessment Mensenrechten en Algoritmes ) en de BIO Quickscan gedaan. Hierin is aangegeven in hoeverre de risico’s kunnen worden geëlimineerd of gereduceerd, en wat de restrisico’s zijn. We hebben verschillende maatregelen getroffen om ervoor te zorgen dat de output van het model correct, transparant en consequent is. 

Ook wordt het model tijdens de pilot (en bij een succesvolle pilot tijdens het beheer) nauwlettend gemonitord om de kwaliteit en eerlijkheid van het model ook in de toekomst te waarborgen. 

Aanvraag levensonderhoud

Bij een aanvraag levensonderhoud controleren we de rechtmatigheid. Dit gebeurt door medewerkers van de afdeling Inkomensvoorziening. Niet iedereen die een aanvraag indient, heeft recht op een uitkering. De medewerkers van de afdeling Inkomensvoorziening handelen veel aanvragen af op basis van de informatie in het aanvraagformulier en de aangeleverde documenten. In die gevallen is duidelijk dat de aanvrager recht op een uitkering heeft. Soms is de informatie niet volledig of eenduidig. Dan kan het nodig zijn om aanvullend onderzoek te doen. Dit wordt gedaan door medewerkers van de afdeling Handhaving Werk en Inkomen.

Het algoritme ‘Slimme check’ ondersteunt de medewerkers in de beoordeling van aanvragen levensonderhoud door ze het label wel of niet onderzoekswaardig te geven. Alle aanvragen levensonderhoud worden aangeboden aan ‘Slimme check’.

Aanvraag levensonderhoud

Als een Amsterdammer een aanvraag levensonderhoud indient, dan komt de aanvraag terecht in de applicatie van de directie Inkomen om de aanvraag af te handelen. De aanvragen worden aangeboden aan ‘Slimme check’ en ‘Slimme check’ gebruikt de volgende gegevens om de aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ te geven: 

Uit de Basisregistratie Personen (BRP)

• BSN
• Informatie over woonadres  
• Informatie over woonsituatie 

Uit de applicaties van de directie Inkomen 

• BSN
• Informatie over mogelijke eerdere bijstandsuitkeringen (hoe lang geleden, welke activiteiten in het kader van klantbegeleiding, welke maatregelen, niet verschenen op afspraken, geen contact) 
• Informatie over vermogen 
• Informatie over inkomen

Aanvragen met het label ‘onderzoekswaardig’

Aanvragen die het label ‘onderzoekswaardig’ krijgen, worden door medewerkers van de afdeling Handhaving Werk en Inkomen behandeld. Deze medewerker beoordeelt of de aanvraag daadwerkelijk onderzoekswaardig is.

<Zie voor een volledige beschrijving algoritmeregister.amsterdam.nl gegeven de beperking op het aantal tekens>