Het voorspellen van de kwaliteit van de prestatie verklaringen
- Publicatiecategorie
- Overige algoritmes
- Impacttoetsen
- Veld niet ingevuld.
- Status
- In gebruik
Algemene informatie
Thema
Begindatum
Contactgegevens
Verantwoord gebruik
Doel en impact
Een prestatieverklaring (PV) is een verklaring die bevestigt dat de geleverde goederen in goede staat en de juiste hoeveelheid en kwaliteit zijn ontvangen, of dat de diensten naar tevredenheid zijn uitgevoerd, zoals afgesproken in de overeenkomst. De prestatie wordt verklaard voordat de factuur wordt betaald, tenzij anders aangegeven in het contract of het voorschrift voor de PV.
De registratie van prestatiebewijzen gebeurt in het financieel informatie systeem Leonardo. Als dit niet mogelijk is (bijvoorbeeld door de AVG of vertrouwelijke inkopen), kan de levering op een andere manier schriftelijk worden toegelicht, bijvoorbeeld via het tekstveld bij de ontvangstboeking of door een alternatief ontvangstbewijs (type 2).
Het Ministerie van Justitie en Veiligheid (JenV) heeft al enige tijd een bevinding van de Auditdienst Rijk (ADR) en de Algemene Rekenkamer (AR) over het consistent (en later kwalitatief) vastleggen van bijlagen in de financiële administratie (Leonardo). Financial Control (FC) heeft deze bevinding opgepakt. Omdat er veel betalingen zijn waarbij een prestatieverklaring nodig is, is het handmatig controleren hiervan niet haalbaar. De huidige steekproeven selecteren a-select posten, waarbij ook goede prestatieverklaringen worden gecontroleerd. Dit kan beter door risicogerichte steekproeven te doen.
Er is een model ontwikkeld om de vastlegging van prestatiebewijzen en de controle op kwaliteit te verbeteren. Dit model kijkt of er een bijlage is waar een prestatieverklaring nodig is. FC stelt regels op, op basis van de kosten. De volgende stap is niet alleen te controleren of de prestatieverklaring aanwezig is, maar ook of deze van goede kwaliteit is. Hiervoor is een algoritme gemaakt.
Afwegingen
DFEZ, ADR en AR onderzoeken of bijlagen, zoals prestatieverklaringen, aanwezig zijn en van goede kwaliteit. Omdat er veel prestatieverklaringen zijn, is handmatig controleren veel werk. Ook zijn de huidige steekproeven niet altijd gericht op risico’s, waardoor zelfs goede prestatieverklaringen gecontroleerd worden.
Met de analyse van de aanwezigheid en kwaliteit willen we het proces beter sturen. Door gebruik te maken van zelfgetrainde labels, kunnen we automatisch en met redelijke zekerheid bepalen welke prestatieverklaringen niet voldoen aan de eisen voor een goede prestatieverklaring, zoals beschreven in de voorschriften van DFEZ.
Menselijke tussenkomst
Het algoritme is zo ingesteld dat wanneer het een negatieve score geeft, de prestatieverklaring handmatig gecontroleerd moet worden. Dit geldt ook wanneer het algoritme aangeeft dat er geen prestatieverklaring is. Daarnaast wordt bij 10% van de positieve scores, of wanneer het algoritme aangeeft dat een prestatieverklaring van goede kwaliteit is, een extra controle uitgevoerd.
Risicobeheer
In het eindproduct komen geen gevoelige persoonsgegevens voor. De analyse wordt alleen gedeeld met een beperkte groep mensen. Omdat het algoritme facturen en prestatieverklaringen uitleest waar persoonsgegevens in kunnen staan, is er een DPIA (Data Protection Impact Assessment) opgesteld.
Wettelijke basis
DFEZ, ADR en AR onderzoeken op basis van de Comptabiliteitswet of bijlagen, zoals prestatieverklaringen, aanwezig zijn en van goede kwaliteit zijn.
Links naar wettelijke basis
Werking
Gegevens
Het algoritme gebruikt prestatieverklaringen en gegevens uit het financieel informatiesysteem van Justitie en Veiligheid, genaamd Leonardo. In de prestatieverklaringen kunnen persoonsgegevens staan en in de gegevens uit Leonardo kunnen velden worden ingevuld met vrije tekst, wat betekent dat er ook persoonsgegevens in kunnen voorkomen.
Technische werking
Collega’s van verschillende afdelingen hebben labels verzameld, met ondersteuning van Financial Control en de Data Analisten van DFEZ. In totaal zijn 1000 boekingen gelabeld met een 1 (de documenten bij deze boeking vormen volgens de experts een kwalitatieve prestatieverklaring) of 0 (de documenten voldoen niet aan de eisen van een kwalitatieve prestatieverklaring).
Op basis van deze labels zijn verschillende modellen getraind. Tijdens het trainen werd GridSearch gebruikt, waardoor snel de beste instellingen voor elk model konden worden gevonden. De modellen zijn vergeleken en het model met de beste resultaten is gekozen (gebaseerd op verschillende prestatie-indicatoren zoals nauwkeurigheid, precisie, recall en F1-score).
Het getrainde model wordt nu toegepast op de financiële facturen en ontvangsten van de vorige maand. Het model vergelijkt de tekst in de documenten bij een boeking met het patroon dat het heeft geleerd van de labelset met label 1. Documenten die veel lijken op dit patroon, krijgen een hogere kans.
Het model kan worden vergeleken met een spamfilter. Door veel voorbeelden van spam e-mails te zien, leert het filter een patroon herkennen en kan het zelf bepalen of een e-mail waarschijnlijk spam is op basis van de woorden en opbouw in de mail.