Game Based Assessment (GBA) bij selectie Rijksbrede traineeships

Een GBA is één van de onderdelen van het selectieproces. Kandidaten spelen verschillende games om een indruk te geven van de aansluiting bij het traineeprofiel. De testscores zijn zichtbaar in het kandidaatsdossier als rapportage.

Laatst gewijzigd op 10 september 2024 om 14:28 | Publicatiestandaard 1.0
Publicatiecategorie
Impactvolle algoritmes
Impacttoetsen
IAMA, DPIA
Status
In gebruik

Algemene informatie

Thema

Werk

Begindatum

09-2021

Contactgegevens

rijkstrainee@rijksoverheid.nl

Link naar publiekspagina

https://www.werkenvoornederland.nl/starters/traineeships/het-rijkstraineeprogramma https://www.werkenvoornederland.nl/starters/traineeships/rijks-hbo-traineeprogramma https://www.werkenvoornederland.nl/starters/traineeships/traineeship-rijksinkoopprofessionals https://www.werkenvoornederland.nl/starters/traineeships/rijks-i-traineeship https://www.werkenvoornederland.nl/starters/traineeships/internationaal-beleidsmedewerker-buitenlandse-zaken

Verantwoord gebruik

Doel en impact

Het hoofddoel van de inzet van de GBA is om de testresultaten in samenhang met de resultaten van andere selectieonderdelen te gebruiken om een objectieve selectiebeslissing te nemen en te zorgen voor meer gelijkheid in de wijze van selecteren: er is geen game ervaring vereist voor het GBA. Subdoelen van de inzet van dit algoritme zijn:
  • Een match op basis van kwaliteiten en talenten in plaats van opleidingsniveau.
  • Een gestructureerde aanpak die voor alle kandidaten gelijk is.
  • De test laagdrempeliger maken voor de kandidaten en passend bij de doelgroep.
  • Zorgen voor een manier (in combinatie met andere selectieonderdelen) om uit veel aanmeldingen te kunnen selecteren, hetgeen handmatig niet mogelijk is.

Afwegingen

Het gaat om de volgende publieke waarden die de inzet van het algoritme ingeven:

Publieke waarden waar het algoritme aan bijdraagt:

  • Gelijkheid (gelijke kansen): Hier is uitvoering onderzoek naar gedaan voorafgaand aan de inzet van het GBA. Het GBA richt zich op een breed scala aan competenties en talenten wat de diversiteit in de selectiebeslissing bevordert. 
  • Efficiëntie: Er zijn zeer veel aanmeldingen voor het Rijkstraineeprogramma. De overheid heeft niet de middelen en capaciteit om dit handmatig te kunnen afhandelen en is daardoor genoodzaakt om voor een ander selectiemechanisme te kiezen waardoor efficiënter met beperkte overheidsmiddelen omgegaan kan worden.
  • Effectiviteit: Voor een effectieve overheid is personeel nodig dat goed matcht met de taken die voorliggen. Met het GBA wordt breed gekeken naar competenties en talenten dan in voorgaande middelen (die hoofdzakelijk focus hadden op intelligentie). Hierdoor is het mogelijk om verfijnder te zoeken naar de geschikte kandidaten.

De publieke waarden die mogelijk in het gedrang komen door de inzet van het algoritme, of in ieder geval als aandachtspunt gezien moeten worden zijn:

  • Gelijkheid: Het is van groot belang dat het algoritme geen bias bevat waardoor bepaalde groepen in het nadeel zijn.
  • Uitlegbaarheid: Het is van belang dat het GBA uitlegbaar is en blijft en dat er een duidelijke procedure komt voor kandidaten om meer informatie op te vragen over hoe een uitslag tot stand is gekomen. Deze procedure moet ook actief kenbaar worden gemaakt.
  • Toegankelijkheid: Toegankelijkheid als publieke waarde kan in het geding zijn: niet iedereen het GBA maken. Er moet voldoende maatwerk mogelijk zijn. Aan kandidaten wordt de mogelijkheid geboden omstandigheden die mogelijk van invloed zijn op de selectieprocedure met Leeuwendaal en/of het Rijk te delen. Alle opmerkingen worden doorgenomen en per persoon beoordeeld. Soms wordt op basis daarvan vrijstelling verleend.

De waarden die hier zijn omschreven moeten worden gezien als aandachtspunt, ook bij mogelijke aanpassingen in het ontwerp en toekomstige ontwikkelingen. Het is belangrijk om op te merken dat de negatieve impact op waarden die hier geformuleerd zijn beperkt worden door het nemen van maatregelen.

Menselijke tussenkomst

Op basis van de scores die uit het GBA komen, wordt er een rapportage aan de sollicitant teruggekoppeld. Deze scores zijn onderdeel van het dossier, dat samen met andere gegevens zoals CV en motivatievragen worden gebruikt in de selectieprocedure. Er worden geen selectie beslissingen gemaakt zonder tussenkomst van een medewerker van het Rijk.

Er is dus zeker sprake van “human in the loop”, omdat het advies wordt opgesteld door een persoon en de score slechts een onderdeel is van deze beslissing.

Risicobeheer

  • De effectiviteit van het GBA wordt jaarlijks getoetst om ervoor te zorgen dat het algoritme doeltreffend is en blijft. 
  • Om te voorkomen dat het algoritme van het GBA voor andere doeleinden wordt ingezet waar het niet voor bedoeld is, is afgesproken dat voor ieder gebruik een aparte IAMA uitgevoerd zal worden. 
  • Omdat de inzet van een algoritme vragen kan oproepen wordt jaarlijks opnieuw gekeken naar de informatievoorziening naar betrokkenen, mede op basis van de vragen die gesteld worden tijdens de sollicitatieperiodes van Rijkstrainees. 
 

Wettelijke basis

De Ambtenarenwet 2017 omvat dat “Overheidswerkgevers een onderzoek mogen doen naar de geschiktheid en bekwaamheid van een werknemer voor een ambtenaarsfunctie”.  Voor het GBA geldt het volgende:

De wettelijke grondslag ligt in het feit dat een bedrijf het recht heeft om een nieuwe werknemer aan te nemen: een overheidswerkgever heeft het recht om een onderzoek te doen naar de geschiktheid en bekwaamheid van een werknemer. Over de procedure valt echter niets te zeggen. Wel is hier een sollicitatiecode voor. Deze sollicitatiecode vertelt ons meer over het gebruik van digitale assessments: 

"Indien de organisatie bij een voorselectie gebruik maakt van data recruitment, zoals bijvoorbeeld een digitaal assessment, Artificiële Intelligentie (A.I.) of algoritmes, dienen deze gevalideerd en transparant te zijn. Bij de organisatie die gebruik maakt van A.I en algoritmes dienen de mogelijke risico’s en tekortkomingen daarvan duidelijk te zijn. Te allen tijde dient de zorgvuldigheid en vertrouwelijkheid te worden gewaarborgd en mogen geen vragen gesteld worden met betrekking tot gezondheid. De sollicitant ontvangt na deelname een gemotiveerde uitslag, wanneer de sollicitant daarom verzoekt”.

De inzet van de DPIA en het IAMA ziet erop toe dat het assessment gevalideerd en transparant is.

Links naar wettelijke basis

Ambtenarenwet 2017: https://wetten.overheid.nl/BWBR0001947/

Toelichting op impacttoetsen

Er is een IAMA en DPIA uitgevoerd als onderdeel van het privacy/ethiek 'by desgin' proces.

Impacttoetsen

  • Impact Assessment Mensenrechten en Algoritmes (IAMA)
  • Data Protection Impact Assessment (DPIA)

Werking

Gegevens

Er wordt alleen data gebruikt die gehaald kan worden uit het door de kandidaat ingevulde GBA. Het algoritme gebruikt alleen data die nodig is om de uiteindelijke score te bepalen (dataminimalisatie). Er wordt bijvoorbeeld geen demografische informatie aan de modellen ter beschikking gesteld.

De uitzondering is hier wanneer een kandidaat aangeeft een neurodiverse aandoening te hebben. In dat geval worden er aanpassingen gedaan om de kandidaat toch de test te laten maken als de kandidaat daartoe in staat is. Werkgever kan er ook voor kiezen om kandidaten vrijstelling te geven van het GBA.

Technische werking

Het betreft een regel-gebaseerd algoritme. Er is dus geen sprake van een zelflerend algoritme. Er wordt alleen gebruik gemaakt van de gegevens die verkregen worden tijdens de test. De door de kandidaten ingevoerde antwoorden en gekozen werkwijze tijdens de test bepalen de scores op de competenties. Deze competenties zijn afgestemd met het Rijk en bepalen de aansluiting met het profiel van trainee. De test wordt gestart vanuit het dossier van de kandidaat middels een technische koppeling. In deze koppeling worden geen persoonsgegevens gedeeld. Als de kandidaat klaar is, worden de scores op het GBA berekend en opgehaald en worden de competentiescores in het dossier van de kandidaat weergegeven.

Leverancier

Artic Shores: Ontwikkelaar van het algoritme Eelloo: distributeur van het algoritme Leeuwendaal: contractpartner