Prestatiemonitor

Inspectie van het Onderwijs (OCW)

Dit algoritme maakt een risico-sortering van onderwijsinstellingen (scholen, opleidingen of schoolbesturen) om gericht bureau-onderzoek te kunnen uitvoeren, als onderdeel van de jaarlijkse prestatie- en risicoanalyse.

Laatst gewijzigd op 22 mei 2024 om 8:41 | Publicatiestandaard 1.0

Publicatiecategorie: Impactvolle algoritmes
Impacttoetsen: IAMA
Status: In gebruik

Thema

Onderwijs en wetenschap

Begindatum

07-2019

Contactgegevens

https://contactformulier.onderwijsinspectie.nl/contact

Link naar publiekspagina

https://www.onderwijsinspectie.nl/onderwerpen/werkwijze-van-de-inspectie/jaarlijkse-prestatieanalyse

Doel en impact

De Inspectie van het Onderwijs houdt toezicht op de kwaliteit van het onderwijs (de 'waarborgfunctie'). Vanuit de waarborgfunctie van het toezicht ziet de inspectie erop toe dat de onderwijswet (en de daarop gebaseerde regelgeving) wordt nageleefd. Dit gaat over wat het bestuur en de school/opleiding allemaal moeten doen.

Vanwege die waarborgfunctie brengen we ieder jaar in kaart of er onderwijsinstellingen zijn met risico's. Omdat er heel veel scholen, opleidingen en besturen zijn in Nederland doen we deze controle voor een deel geautomatiseerd. Daarvoor gebruiken we een algoritme: het algoritme berekent een risicoscore voor elke onderwijsinstelling.

Op basis van de risico-sortering die door het algoritme gemaakt wordt, worden handmatige bureau-analyses uitgevoerd. Voor de bureau-analyse kijken de analisten en/of inspecteurs naar de gegevens die gebruikt zijn voor het algoritme, maar ook naar andere dingen, zoals bijvoorbeeld een schoolgids, of specifieke meldingen (bijvoorbeeld een bezorgde ouder die contact heeft opgenomen met de inspectie).

Als inspecteurs op basis van de handmatige analyse denken dat de risico's groot en ernstig zijn, dan wordt er contact opgenomen met de school of het bestuur. Mogelijk gaan inspecteurs dan ook een onderzoek op locatie uitvoeren bij de school, de opleiding, of het bestuur.

Afwegingen

Het voordeel van het gebruiken van een algoritme dat risico's berekent, is dat niet álle instellingen jaarlijks handmatig onderzocht hoeven te worden. Handmatige analyse kost namelijk veel tijd en geld. Door vooral de instellingen met een hoge risicoscore handmatig te onderzoeken kunnen analisten en inspecteurs dáár ingezet worden waar ze het meest nodig zijn. Een nadeel kan zijn dat we met het algoritme alleen scholen in beeld zouden krijgen die risico's hebben op onderwerpen waar de inspectie data over beschikbaar heeft.

Om te voorkomen dat de inspectie alléén nog maar naar data kijkt, hebben analisten en inspecteurs altijd de mogelijkheid om extra bureau-analyses uit te voeren. Bijvoorbeeld voor onderwijsinstellingen waar ze toch zorgen over hebben, ook al heeft die instelling geen hoge risicoscore.

Menselijke tussenkomst

De uitkomst van het algoritme is een risicoscore. Onderwijsinstellingen met een hoge risicoscore krijgen een handmatige bureau-analyse. Daarnaast kunnen inspecteurs of analisten ook handmatige bureau-analyses uitvoeren voor instellingen waar ze zorgen over hebben ook al heeft die instelling een lage risicoscore.

Wanneer uit de bureau-analyse volgt dat de risico's groot en ernstig zijn, wordt er contact opgenomen met de instelling en kunnen ook andere toezichtsactiviteiten volgen. Soms betekent dit dat er een inspectiebezoek op locatie wordt uitgevoerd. De bureau-analyse en een eventueel onderzoek op locatie worden volledig door mensen uitgevoerd.

Risicobeheer

Perfecte risicoschatting is onmogelijk. Om de risicoschatting zo goed mogelijk te houden worden er jaarlijkse evaluaties uitgevoerd van de kwaliteit van risicoschatting van de Prestatiemonitor.

Daarvoor onderzoeken we of de scholen, opleidingen en instellingen met hoge risicoscores inderdaad ook gemiddeld vaker een onvoldoende oordeel hebben gekregen in het daaropvolgende jaar. Als blijkt dat de voorspelkracht laag is dan proberen we aanpassingen door te voeren die zorgen voor betere voorspelkracht. Als namelijk blijkt dat de risicoschatting onvoldoende voorspelkracht heeft, dan kunnen bepaalde instellingen onnodig worden onderzocht. De tijd van analisten en inspecteurs is dan niet op de juiste plekken ingezet (inefficiënt). Instellingen waar wél problemen spelen, blijven dan mogelijk buiten beeld.
Nog specifieker: als bepaalde groepen scholen onevenredig (onevenredig t.a.v. de daadwerkelijke risico's) worden vertegenwoordigd in de hoog-risicogroepen, dan kunnen deze instellingen onnodig worden belast. Ook dan is er sprake van inefficiënte inzet van capaciteit, en onrechtvaardige belasting van bepaalde scholen of besturen.
Omdat instellingen met hogere risicoscores vaker onderzocht worden, kan verkeerde risicoschatting ook blijven doorwerken (tunnelvisie). Daarom zijn we sinds september 2023 gestart met onderzoeken op locatie bij willekeurig geselecteerde onderwijsinstellingen. Hiermee kunnen we de kwaliteit van risicoschatting nog beter evalueren. Willekeurige selectie helpt namelijk bij het voorkomen van tunnelvisie.

Wettelijke basis

Wet op het onderwijstoezicht (WOT), Wet openbaarheid van bestuur (WOB), Wet op het voortgezet onderwijs (WVO), Wet op het primair onderwijs (WPO), Wet op de expertisecentra (WEC), Wet educatie en beroepsonderwijs (WEB), Wet op het hoger onderwijs en wetenschappelijk onderzoek (WHW) en Algemene wet bestuursrecht (AWB)

Toelichting op impacttoetsen

Er is een IAMA doorlopen voor dit algoritme.

Uit de pre-DPIA scan blijkt dat een DPIA niet nodig is, omdat de bestanden met data op persoonsniveau alleen gepseudonimiseerde data bevatten en informatie daardoor niet herleidbaar zijn naar een individu. De inspectie heeft geen sleutel om de gepseudonimiseerde data te ontsleutelen. Daarnaast worden deze gegevens in het algoritme alleen gebruikt in geaggregeerde vorm naar het niveau van school, bestuur of instelling.

Impacttoetsen

Impact Assessment Mensenrechten en Algoritmes (IAMA)

Gegevens

De belangrijkste informatiebronnen zijn leerlingenaantallen, personeelskenmerken, financiële kenmerken van de instellingen, leerresultaten en signalen (van ouders en leerlingen die contact met ons opnemen).

Informatie over instellingen komt vanuit bestanden uit het Register Onderwijsdeelnemers (ROD, voorheen BRON), bestanden van het CBS, bestanden van DUO, door scholen aangeleverde gegevens (bijvoorbeeld de monitorgegevens sociale veiligheid) en gegevens uit eigen registraties van de Inspectie van het Onderwijs.

Gegevens worden altijd geaggregeerd naar school, bestuur of instellingsniveau.

Links naar gegevensbronnen

Gegevens over leerlingaantallen, personeelskenmerken en financiële kenmerken zijn voor een groot deel openbaar beschikbaar gemaakt door DUO: https://duo.nl/open_onderwijsdata/

Technische werking

Het betreft een regelgebaseerd algoritme. De regels worden vastgesteld met behulp van inspecteurs en analisten, en op basis van kwantitatief onderzoek. De verschillende gegevens worden geaggregeerd naar het school/bestuur/instellingsniveau en daarmee worden de verschillende indicatoren berekend.

Vervolgens wordt er een risicoscore berekend op basis van de combinatie van indicator scores van 1-3 jaar, de grenzen voor wat als risicovol gezien wordt, de jaarwegingen en de wegingen per indicator.

De output van het model is een risicoscore per school/bestuur/instelling.

Leverancier

Intern ontwikkeld