DiDo

Ministearje fan Ynlânske Saken en Keninkryksrelaasjes

(Ynterne) ark brûkt om gegevens te ferwurkjen fan DGDOO-beliedsynformaasje.

Lêst feroare op 11 april 2024 om 13:02 | Publikaasjestandaard 1.0

• Publicatiecategorie: Oare algoritmes
• Impacttoetsen: Fjild net ynfierd.
• Status: Yn gebrûk

Algemene ynformaasje

Tema

Organisaasje en bedriuwsfiering

Begjindatum

2024-03

Kontaktgegevens

[e-mail]

Link nei publykspagina

https://github.com/MinBZK/DiDo

Ferantwurde gebrûk

Doel en impact

DiDo (Data in Data out) giet oer it rappe en automatisearre lêzen fan tabellen fan leveransiers yn 'e Operational Data Layer (ODL) fan in Postgres-database. It doel fan de ODL is om unifoarme en betroubere opslach te organisearjen fan de gegevens dy't troch gegevensleveransiers oanbean wurde. De leveransier leveret tabellen ien kear of faker yn .csv-formaat (skieden troch puntkomma's). Dizze tabellen wurde lêzen yn Postgres basearre op in konfiguraasjetriem. Ek wurdt dokumintaasje oanmakke dy't opnommen wurde kin yn 'e wiki fan it projekt.

Afwagings

DiDo set gegevens yn in databank en kontrolearret it op flaters. Earst wurdt in beskriuwing fan de gegevens brûkt om automatysk de tabellen yn Postgres en beskriuwingen foar de wiki te generearjen. De gegevens kinne dan oanlevere wurde, periodyk as dat nedich is. Dit ûntlêst de brûker safolle mooglik, en is yn dit gefal in effisjinsjewinst foar de meiwurkers fan 'e ôfdieling Beliedsynformaasje.

Minskele tuskenkomst

DiDo is mei de hân konfigureare foar nije ynkommende gegevensstreamen, en útfier kin maklik manuell oanpast wurde.

Risikobehear

Risikobehear wurdt behannele troch MinBZK's standert Ferantwurdlike iepenbieringferklearring, dy't te finen is op https://github.com/MinBZK/DiDo/security.

Taljochting op impacttoetsen

DiDo hat (hast) gjin ynfloed op minsken (rjochten) en wurdt folslein isolearre útfierd binnen de Postgres databank (Policy Information data warehouse). Fierdere ferwurking fan gegevens kontrolearre troch DiDo is allinnich bedoeld foar ynterne saaklike operaasjes fan de sintrale oerheid.

Wurking

Gegevens

DiDo kontrolearret yn har hjoeddeistige en takomstige foarm de folgjende gegevensstreamen dy't oankomme by de ôfdieling Beliedsynformaasje, allegear folslein anonymisearre en allinich oangeande regearingsamtners:

• P-Direkt (personielsgegevens)
• Shuttel (reisdata)
• UWV (útkearingsdatums)
• ABP (pensjoendatums)

De Open-Source ferzje fan DiDo hat gjin tagong ta dizze gegevens en is gewoan in shell foar it laden en kontrolearjen fan ferlykbere streamen.

Technyske wurking

DiDo fasilitearret de brûker by it opslaan fan gegevens yn it Data Warehouse en it meitsjen fan dokumintaasje oer dy gegevens. DiDo hat twa fazen:

1. Gegevens en dokumintaasje Definysje. Dit is (yn teory) in ienmalige evenemint wêryn't de gegevens neffens in fêst patroan opslein wurde, opslein yn Postgres-tabellen en skreaun wurde as Wiki-dokumintaasje.
2. Lêzen fan gegevens yn de databank. Sadree't de tabellen binne definiearre, de gegevens kinne wurde levere. De leveringen wurde opslein yn 'e tabel, tegearre mei de gegevenskwaliteit. De levering is dokumintearre en kin bewarre wurde yn de Wiki.

Dêrneist binne der in oantal ark dy't ferienfâldigje omgean mei leveransiers en leveringen yn de databank.

Leveransier

Ynterne ûntwikkele

Link nei boarnekoade

https://github.com/MinBZK/DiDo