DiDo
- Organisatie
- Ministerie van Binnenlandse Zaken en Koninkrijksrelaties
- Thema
- Organisatie en bedrijfsvoering
- Status
- In gebruik
Algemene informatie
Naam
Korte omschrijving
Organisatie
Thema
Status
Begindatum
Contactgegevens
Link naar publiekspagina
Publicatiecategorie
Verantwoord gebruik
Doel en impact
DiDo (Data in Data out) gaat over het snel en geautomatiseerd inlezen van tabellen van leveranciers in de Operationele Datalaag (ODL) van een Postgresdatabase. De ODL heeft als doel een uniforme en betrouwbare opslag te organiseren van de gegevens die door dataleveranciers worden aangeleverd. De leverancier levert eenmalig of vaker tabellen in .csv-formaat (gescheiden door puntkomma's). Die tabellen worden in Postgres ingelezen op basis van een configuratiefile. Tevens wordt er documentatie gegenereerd die in de wiki van het project kunnen worden opgenomen.
Afwegingen
DiDo zet data in een database en controleert deze op fouten. Eerst wordt een beschrijving van de data gebruikt om automatisch de tabellen in Postgres en beschrijvingen voor de wiki te genereren. Daarna kan de data worden aangeleverd, periodiek indien nodig. Dit ontzorgt de gebruiker zo veel mogelijk, en is in dit geval een efficiëntieslag voor de medewerkers van de afdeling Beleidsinformatie.
Menselijke tussenkomst
DiDo wordt handmatig geconfigureerd voor nieuwe inkomende datastromen, en output kan eenvoudig handmatig worden bijgesteld.
Risicobeheer
Risicobeheer valt onder de standaard Responsible Disclosure Statement van MinBZK, te vinden op https://github.com/MinBZK/DiDo/security.
Toelichting op impacttoetsen
DiDo heeft (vrijwel) geen impact op mensen(rechten) en wordt volledig geïsoleerd binnen de Postgres database (datawarehouse Beleidsinformatie) gedraaid. Verdere verwerking van door DiDo gecontroleerde gegevens zijn slechts bestemd voor interne bedrijfsvoering van de Rijksoverheid.
Werking
Gegevens
DiDo in zijn huidige en toekomstige vorm controleert de volgende datastromen die bij de afdeling Beleidsinformatie binnenkomen, allen volledig geanonimiseerd en alleen betreffende rijksambtenaren:
- P-Direkt (personeelsdata)
- Shuttel (reisdata)
- UWV (uitkeringsdata)
- ABP (pensioendata)
De Open-Source versie van DiDo heeft geen toegang tot deze gegevens en is slechts een huls om soortgelijke stromen in te laden en te controleren.
Technische werking
DiDo faciliteert de gebruiker in het opslaan van data in het Datawarehouse en het maken van documentatie over die data. DiDo kent twee fasen:
- Data en Documentatie Definitie. Dit is (in theorie) een eenmalig gebeuren waarin de data volgens een vast stramien wordt vastgelegd, in Postgres tabellen wordt opgeslagen en als Wiki documentatie wordt weggeschreven.
- Data Inlezen in de database. Als de tabellen zijn gedefinieerd kan de data worden geleverd. De leveringen worden opgeslagen in de tabel, tezamen met de datakwaliteit. De levering wordt gedocumenteerd en kan worden opgeslagen in de Wiki.
Daarnaast zijn er een aantal hulpprogramma's die het omgaan met leveranciers en leveringen in de database vereenvoudigen.