Terug naar alle algoritmes

Onderzoekswaardigheid: Slimme check levensonderhoud

Onderzoekswaardigheid Algoritme ‘Slimme check’. Een tool die de medewerkers helpt om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is.

Laatst gewijzigd op 26 juni 2024 om 9:56 | Publicatiestandaard 1.0
Publicatiecategorie
Impactvolle algoritmes
Impacttoetsen
DPIA, IAMA
Status
In ontwikkeling

Algemene informatie

Thema

Sociale zekerheid

Begindatum

Veld niet ingevuld.

Einddatum

09-2023

Contactgegevens

algoritmen@amsterdam.nl

Link naar publiekspagina

https://algoritmeregister.amsterdam.nl/ai-system/onderzoekswaardigheid-slimme-check-levensonderhoud/1086/

Verantwoord gebruik

Doel en impact

De gemeente Amsterdam verstrekt bijstandsuitkeringen uit aan Amsterdammers die daar recht op hebben. Niet iedereen die een bijstandsuitkering aanvraagt, komt in aanmerking voor een uitkering. Daarom onderzoeken we bijstandsaanvragen die mogelijk onrechtmatig zijn. De gemeente Amsterdam wil voorkomen dat Amsterdammers ten onrechte bijstand krijgen, daardoor schulden opbouwen en in de problemen komen.

Ook Amsterdammers die wél recht hebben op bijstand worden weleens onderzocht door een medewerker van Handhaving Werk en Inkomen. Dat willen we zo veel mogelijk voorkomen, want zo’n onderzoek kan vervelend zijn. Daarom testen we of een algoritme ons kan helpen om te bepalen welke aanvragen wel en niet onderzocht moeten worden. Zodat Amsterdammers minder last hebben van onze handhaving én zodat minder Amsterdammers in de problemen komen. Maar ook om ervoor te zorgen dat de verstrekking van bijstand betaalbaar blijft.

Op dit moment bepaalt een medewerker of een aanvraag onderzoekswaardig is, en of dit door een medewerker met aanvullende bevoegdheden moet worden beoordeeld. Het algoritme ‘Slimme check’ ondersteunt de medewerker om te bepalen of een aanvraag levensonderhoud onderzoekswaardig is. Het algoritme maakt transparant en uitlegbaar welke data hebben geleid tot het label ‘onderzoekswaardig’. Alle data die worden gebruikt om tot een beoordeling te komen, worden gedocumenteerd en beschreven. 

Pilot
De gemeente doet van april tot en met juli 2023 een pilot met een nieuwe werkwijze. In deze pilot bepaalt het algoritme ‘slimme check’ of een aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ krijgt. Dit wordt daarna door een medewerker van Handhaving Werk en Inkomen gecontroleerd. Het algoritme kan verbanden en patronen vinden in een grote hoeveelheid informatie over aangevraagde bijstandsuitkering en bepaalt welke informatie vaker in verband kan worden gebracht met aanvragen waarvoor een nader onderzoek noodzakelijk was en welke niet. ‘Slimme check’ is getraind op historische data en bestaat uit vijftien datapunten. Na afloop van de pilot bepalen we of deze manier van werken beter is voor de Amsterdammer. 

Afwegingen

Deze nieuwe werkwijze van de pilot heeft een aantal voordelen:

  • Gelijkwaardigheid: We hebben de vooringenomenheid (‘bias’) van het algoritme geanalyseerd. Daaruit bleek dat op vrijwel alle gevoelige kenmerken (zoals leeftijd, geboorteland en nationaliteit) het ontwikkelde model verschillende groepen gelijkwaardiger behandelt dan nu gebeurt.
  • Effectiviteit: Het model kan beter inschatten welke aanvragen onderzoekswaardig zijn dan een medewerker. Daardoor kan de capaciteit beter benut worden, en worden minder onrechtmatige uitkeringen verstrekt.
  • Proportionaliteit: Omdat het model beter kan inschatten welke aanvragen extra gecontroleerd moeten worden, komt het minder vaak voor dat aanvragen onnodig extra worden onderzocht. Dit leidt tot een betere proportionaliteit. Ook voorkomen we vaker de onrechtmatige verstrekking van uitkeringen, wat leidt tot een meer preventieve in plaats van repressieve aanpak.

Menselijke tussenkomst

Er is geen sprake van geautomatiseerde besluitvorming. Het algoritme adviseert alleen of een aanvraag extra onderzocht moet worden. Na dit advies doen verschillende medewerkers nog uitgebreid onderzoek.

  1. Eerst kijkt een medewerker van de afdeling Handhaving Werk en Inkomen of de aanvraag wel echt onderzoekswaardig is.
  2. Als dit het geval is, doet een andere medewerker van de afdeling Handhaving Werk en Inkomen een uitgebreid onderzoek naar de rechtmatigheid. 
  3. Hierover wordt een advies uitgebracht en weer een andere medewerker (van Inkomensvoorziening) neemt het uiteindelijke besluit.

Er is dus geen geautomatiseerde besluitvorming. Er is sprake van betekenisvolle menselijke tussenkomst voordat een besluit wordt genomen. Er worden werkinstructies opgesteld om teveel vertrouwen in de uitkomst van het model (automation bias) te voorkomen. Daarnaast volgen de medewerkers een training over hoe ze de informatie uit het model moeten gebruiken in hun werkproces.   

Risicobeheer

Voor dit product zijn wij uitgegaan van het Kader van de Algemene Rekenkamer. Daarnaast zijn de belangrijkste risicomanagementanalyses de DPIA (Data Protection Impact Assessment), KIIA (Kunstmatige Intelligentie Impact Assessment), IAMA (Impact Assessment Mensenrechten en Algoritmes ) en de BIO Quickscan gedaan. Hierin is aangegeven in hoeverre de risico’s kunnen worden geëlimineerd of gereduceerd, en wat de restrisico’s zijn. We hebben verschillende maatregelen getroffen om ervoor te zorgen dat de output van het model correct, transparant en consequent is. 

Ook wordt het model tijdens de pilot (en bij een succesvolle pilot tijdens het beheer) nauwlettend gemonitord om de kwaliteit en eerlijkheid van het model ook in de toekomst te waarborgen. 

Impacttoetsen

  • Data Protection Impact Assessment (DPIA)
  • Impact Assessment Mensenrechten en Algoritmes (IAMA)

Werking

Gegevens

Aanvraag levensonderhoud

Bij een aanvraag levensonderhoud controleren we de rechtmatigheid. Dit gebeurt door medewerkers van de afdeling Inkomensvoorziening. Niet iedereen die een aanvraag indient, heeft recht op een uitkering. De medewerkers van de afdeling Inkomensvoorziening handelen veel aanvragen af op basis van de informatie in het aanvraagformulier en de aangeleverde documenten. In die gevallen is duidelijk dat de aanvrager recht op een uitkering heeft. Soms is de informatie niet volledig of eenduidig. Dan kan het nodig zijn om aanvullend onderzoek te doen. Dit wordt gedaan door medewerkers van de afdeling Handhaving Werk en Inkomen.

Het algoritme ‘Slimme check’ ondersteunt de medewerkers in de beoordeling van aanvragen levensonderhoud door ze het label wel of niet onderzoekswaardig te geven. Alle aanvragen levensonderhoud worden aangeboden aan ‘Slimme check’.

Aanvraag levensonderhoud

Als een Amsterdammer een aanvraag levensonderhoud indient, dan komt de aanvraag terecht in de applicatie van de directie Inkomen om de aanvraag af te handelen. De aanvragen worden aangeboden aan ‘Slimme check’ en ‘Slimme check’ gebruikt de volgende gegevens om de aanvraag het label ‘onderzoekswaardig’ of ‘niet onderzoekswaardig’ te geven: 

Uit de Basisregistratie Personen (BRP)

  • BSN
  • Informatie over woonadres  
  • Informatie over woonsituatie 

Uit de applicaties van de directie Inkomen 

  • BSN
  • Informatie over mogelijke eerdere bijstandsuitkeringen (hoe lang geleden, welke activiteiten in het kader van klantbegeleiding, welke maatregelen, niet verschenen op afspraken, geen contact) 
  • Informatie over vermogen 
  • Informatie over inkomen

Aanvragen met het label ‘onderzoekswaardig’

Aanvragen die het label ‘onderzoekswaardig’ krijgen, worden door medewerkers van de afdeling Handhaving Werk en Inkomen behandeld. Deze medewerker beoordeelt of de aanvraag daadwerkelijk onderzoekswaardig is.


<Zie voor een volledige beschrijving algoritmeregister.amsterdam.nl gegeven de beperking op het aantal tekens>

Technische werking

Deze nieuwe werkwijze heeft een aantal voordelen: Gelijkwaardigheid: We hebben de vooringenomenheid (‘bias’) van het algoritme geanalyseerd. Daaruit bleek dat op vrijwel alle gevoelige kenmerken (zoals leeftijd, geboorteland en nationaliteit) het ontwikkelde model verschillende groepen gelijkwaardiger behandelt dan nu gebeurt. Effectiviteit: Het model kan beter inschatten welke aanvragen onderzoekswaardig zijn dan een medewerker. Daardoor kan de capaciteit beter benut worden, en worden minder onrechtmatige uitkeringen verstrekt. Proportionaliteit: Omdat het model beter kan inschatten welke aanvragen extra gecontroleerd moeten worden, komt het minder vaak voor dat aanvragen onnodig extra worden onderzocht. Dit leidt tot een betere proportionaliteit. Ook voorkomen we vaker de onrechtmatige verstrekking van uitkeringen, wat leidt tot een meer preventieve in plaats van repressieve aanpak.

Soortgelijke algoritmebeschrijvingen

  • Dit algoritme maakt een risico-sortering van onderwijsinstellingen (scholen, opleidingen of schoolbesturen) om gericht bureau-onderzoek te kunnen uitvoeren, als onderdeel van de jaarlijkse prestatie- en risicoanalyse.

    Laatst gewijzigd op 22 mei 2024 om 8:41 | Publicatiestandaard 1.0
    Publicatiecategorie
    Impactvolle algoritmes
    Impacttoetsen
    IAMA
    Status
    In gebruik
  • Dit algoritme gebruiken wij ter ondersteuning bij het beslissen op uitkeringsaanvragen, het registreren van de uitkomsten en het produceren van documenten.

    Laatst gewijzigd op 25 juni 2024 om 14:35 | Publicatiestandaard 1.0
    Publicatiecategorie
    Impactvolle algoritmes
    Impacttoetsen
    DPIA
    Status
    In gebruik
  • Dit algoritme kan de ACM inzicht geven in trends, ontwikkelingen en mogelijke problemen die op de digitale markt leven. Deze informatie zorgt op zichzelf niet voor het nemen van maatregelen, maar kan wel een reden zijn om inspecteurs verder onderzoek te laten doen naar een mogelijke overtreding.

    Laatst gewijzigd op 4 oktober 2024 om 13:35 | Publicatiestandaard 1.0
    Publicatiecategorie
    Overige algoritmes
    Impacttoetsen
    Veld niet ingevuld.
    Status
    In gebruik
  • Het algoritme berekent de onderwijsresultaten van scholen (cluster, vestiging, opleiding). Het algoritme levert informatie op die een inspecteur helpt om te beoordelen of een school met deze leerlingen de wettelijke ondergrens voor te behalen leerresultaten behaalt.

    Laatst gewijzigd op 9 oktober 2024 om 7:35 | Publicatiestandaard 1.0
    Publicatiecategorie
    Impactvolle algoritmes
    Impacttoetsen
    Veld niet ingevuld.
    Status
    In gebruik
  • Deze tool is bedoeld om te ondersteunen bij de manier waarop de bijdragen van bewoners die deelnemen aan participatieprojecten te begrijpen, categoriseren en analyseren. De AI-analyse tool is compatibel met zowel projecten waarbinnen we ideeën verzamelen als enquête projecten.

    Laatst gewijzigd op 28 november 2024 om 11:30 | Publicatiestandaard 1.0
    Publicatiecategorie
    Overige algoritmes
    Impacttoetsen
    DPIA
    Status
    In gebruik