DiDo

Ministerie van Binnenlandse Zaken en Koninkrijksrelaties

(Interne) tooling die gebruikt wordt voor het verwerken van data van DGDOO Beleidsinformatie.

Laatst gewijzigd op 11 april 2024 om 13:02 | Publicatiestandaard 1.0

• Publicatiecategorie: Overige algoritmes
• Impacttoetsen: Veld niet ingevuld.
• Status: In gebruik

Algemene informatie

Thema

Organisatie en bedrijfsvoering

Begindatum

2024-03

Contactgegevens

[e-mail]

Link naar publiekspagina

https://github.com/MinBZK/DiDo

Verantwoord gebruik

Doel en impact

DiDo (Data in Data out) gaat over het snel en geautomatiseerd inlezen van tabellen van leveranciers in de Operationele Datalaag (ODL) van een Postgresdatabase. De ODL heeft als doel een uniforme en betrouwbare opslag te organiseren van de gegevens die door dataleveranciers worden aangeleverd. De leverancier levert eenmalig of vaker tabellen in .csv-formaat (gescheiden door puntkomma's). Die tabellen worden in Postgres ingelezen op basis van een configuratiefile. Tevens wordt er documentatie gegenereerd die in de wiki van het project kunnen worden opgenomen.

Afwegingen

DiDo zet data in een database en controleert deze op fouten. Eerst wordt een beschrijving van de data gebruikt om automatisch de tabellen in Postgres en beschrijvingen voor de wiki te genereren. Daarna kan de data worden aangeleverd, periodiek indien nodig. Dit ontzorgt de gebruiker zo veel mogelijk, en is in dit geval een efficiëntieslag voor de medewerkers van de afdeling Beleidsinformatie.

Menselijke tussenkomst

DiDo wordt handmatig geconfigureerd voor nieuwe inkomende datastromen, en output kan eenvoudig handmatig worden bijgesteld.

Risicobeheer

Risicobeheer valt onder de standaard Responsible Disclosure Statement van MinBZK, te vinden op https://github.com/MinBZK/DiDo/security.

Toelichting op impacttoetsen

DiDo heeft (vrijwel) geen impact op mensen(rechten) en wordt volledig geïsoleerd binnen de Postgres database (datawarehouse Beleidsinformatie) gedraaid. Verdere verwerking van door DiDo gecontroleerde gegevens zijn slechts bestemd voor interne bedrijfsvoering van de Rijksoverheid.

Werking

Gegevens

DiDo in zijn huidige en toekomstige vorm controleert de volgende datastromen die bij de afdeling Beleidsinformatie binnenkomen, allen volledig geanonimiseerd en alleen betreffende rijksambtenaren:

• P-Direkt (personeelsdata)
• Shuttel (reisdata)
• UWV (uitkeringsdata)
• ABP (pensioendata)

De Open-Source versie van DiDo heeft geen toegang tot deze gegevens en is slechts een huls om soortgelijke stromen in te laden en te controleren.

Technische werking

DiDo faciliteert de gebruiker in het opslaan van data in het Datawarehouse en het maken van documentatie over die data. DiDo kent twee fasen:

1. Data en Documentatie Definitie. Dit is (in theorie) een eenmalig gebeuren waarin de data volgens een vast stramien wordt vastgelegd, in Postgres tabellen wordt opgeslagen en als Wiki documentatie wordt weggeschreven.
2. Data Inlezen in de database. Als de tabellen zijn gedefinieerd kan de data worden geleverd. De leveringen worden opgeslagen in de tabel, tezamen met de datakwaliteit. De levering wordt gedocumenteerd en kan worden opgeslagen in de Wiki.

Daarnaast zijn er een aantal hulpprogramma's die het omgaan met leveranciers en leveringen in de database vereenvoudigen.

Leverancier

Intern ontwikkeld

Link naar broncode

https://github.com/MinBZK/DiDo