TenderTrends
- Publicatiecategorie
- Overige algoritmes
- Impacttoetsen
- Veld niet ingevuld.
- Status
- In ontwikkeling
Algemene informatie
Thema
Begindatum
Contactgegevens
Link naar publiekspagina
Verantwoord gebruik
Doel en impact
Het doel van dit algoritme is aanbestedende diensten te ondersteunen bij het voorbereiden van de opdracht. Dit gebeurt door inzichten in soortgelijke aanbestedingen te bieden.
Dit doel wordt in een aantal stappen bereikt:
- De aanbestedende dienst bereidt de aanbesteding voor door de behoeften, eisen, kenmerken en andere zaken te formuleren.
- Vervolgens kan de aanbestedende dienst TenderTrends raadplegen door zoekwoorden in te vullen en extra criteria op te geven (bijvoorbeeld type aanbestedende dienst: ‘gemeente’).
- De gebruiker krijgt een lijst met mogelijk relevante aanbestedingen op basis van zijn zoekopdracht.
- Van deze lijst selecteert de gebruiker de, in zijn situatie, meest relevante aanbestedingen. Hierop komt een samenvatting terug van historische kengetallen (gemiddeld aantal vragen van marktpartijen, gemiddelde doorlooptijd, meest gekozen procedures, etc.) en publieke contactgegevens die bij deze gekozen aanbestedingen horen.
- Deze data kan de gebruiker toepassen op de eigen aanbesteding om vooraf beter passende keuzes te maken. Ook kan de gebruiker contact leggen met collega’s om ervaringen op te halen.
De impact van TenderTrends is vooral merkbaar in het efficiënter toepassen van publieke middelen en meer inzichten te bieden aan de aanbestedende diensten. Verder ondersteunt TenderTrends mogelijk in het meer divers aanbesteden door alternatieve procedures te tonen van soortgelijke aanbestedingen.
Er is geen negatieve impact opgemerkt aan TenderTrends, omdat:
- het gebruik optioneel is;
- er geen vertrouwelijke informatie (persoons- of bedrijfsgegevens) wordt getoond;
- de aanbestedende dienst altijd zelf de besluiten neemt.
Verder kunnen aanbestedingen vanaf het begin duidelijker worden opgesteld voor ondernemers. Dit draagt bij aan het gemak van inschrijven. Een mogelijk voorbeeld: een nieuwe aanbesteding is opgesteld met TenderTrends waarbij de aanbestedende dienst heeft opgemerkt dat er veel vragen zijn gesteld bij historische aanbestedingen (data van TenderTrends). De aanbestedende dienst heeft dit vervolgens verder onderzocht en heeft een aantal van de veel voorkomende vragen van tevoren opgelost door heldere communicatie en eisen op te stellen. Vervolgens hoeven marktpartijen hier geen vraag meer over te stellen en kunnen zij door met de inschrijving.
Er is geen directe impact voor burgers en bedrijven.
Afwegingen
TenderNed heeft rekening gehouden met de vragen: ‘wat mag?’, ‘wat kan?’ en ‘wat is wenselijk?’. Ook is rekening gehouden met juridische en ethische vragen.
Hieruit kwamen punten naar voren zoals privacy, correctheid, verantwoordelijkheid. Voor elk van de mogelijke risico’s zijn stappen ondernomen om de negatieve impact te minimaliseren. Een voorbeeld is gevoelige aanbestedingsinformatie. Hierbij is gekozen om alleen gebruik te maken van openbaar toegankelijke aanbestedingen.
Een andere maatregel is Human in the loop (HITL), ofwel de mens die aan de knoppen zit van het model en die uiteindelijk kiest welke data relevant is voor de samenvatting. Het model is unsupervised, dat wil zeggen dat het model getraind is zonder dat het weet wat goed of fout is. Het model kijkt puur naar hoeveel woorden er overeenkomen en welke woorden het meest informatief zijn. Dat betekent dat het woord ‘gras’ informatiever is dan ‘aanbesteding’ omdat het woord ‘aanbesteding’ in bijna alle teksten voorkomt. In het geval van TenderTrends betekent dit dat wat het model voorspelt statistisch misschien klopt, maar dat de resultaten niet altijd relevant zullen zijn voor de gebruiker. Wij voeren periodiek interne validatie uit door een aantal zoekacties te testen en met de hand te bepalen of deze echt relevant zijn. Ook neemt de eindgebruiker altijd de laatste beslissing zodat de relevantie van de samengevatte data wordt verzekerd. Zo kan het model voorspellen dat een zoekopdracht over plantsoenonderhoud erg veel lijkt op onderhoud van dijken. De eindgebruiker kan dit vervolgens opmerken en deze ‘voorspelling’ negeren.
Elk van de gevonden risico’s zijn opgelost of voorkomen. Ook zijn de risico’s met diverse domeinexperts (gebruikers, juristen, etc.) besproken.
De afweging die na het oplossen van de risico’s overeind gebleven is, betreft de inzet van TenderTrends of doorgaan met de huidige gang van zaken, zonder TenderTrends. Er is gekozen om door te gaan omdat TenderTrends:
- optioneel is, de aanbestedende dienst is niet verplicht TenderTrends te gebruiken.
- geen negatieve impact meedraagt. Het is een niet-sturende, neutrale applicatie die alleen inzichten verschaft.
- mogelijk zorgt voor besparing van publieke middelen. Informatie over vergelijkbare aanbestedingen kan sneller verzameld worden.
Verder is ook na uitvoering van de Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) gebleken dat er geen negatieve impact is.
Menselijke tussenkomst
Binnen dit model is er sprake van menselijke tussenkomst. In het kort werkt het model als volgt:
- De gebruiker vult zelf zoektermen in.
- Het model berekent relevantie van alle historische aanbestedingen in de dataset.
- Het model presenteert een maximaal aantal relevante aanbestedingen (de gebruiker bepaalt het maximale aantal) inclusief de hoeveelheid overeenkomst van 0 (geen overeenkomst) tot en met 100 (volledige overeenkomst).
- De gebruiker ziet van elke aanbesteding de titel, omschrijving, en inkoopcategorie.
- Op basis van deze informatie kan de gebruiker zelf een selectie maken van de aanbestedingen waarover een analyse moet plaatsvinden.
- De applicatie (niet het algoritme) maakt van de geselecteerde aanbestedingen een aantal grafieken op basis van de aanwezige kengetallen (doorlooptijd, prijs, procedure, aantal vragen, etc.).
Hierin wordt duidelijk dat de applicatie TenderTrends in totaal uit 3 delen bestaat: de zoekopdracht, de voorselectie door het algoritme, en als laatste, de menselijke tussenkomst.
Deze splitsing zorgt ervoor dat de gebruiker veel controle heeft over de analyse en hier zelf mee aan de slag kan gaan. Aan de voorkant (de zoekopdracht) bepaalt de gebruiker eisen (verplichte zoekwoorden, regio van aanbesteding, etc.). Het model doorzoekt meer dan 50.000 historische aanbestedingen en laat de belangrijkste resultaten zien. De gebruiker beoordeelt de resultaten en neemt de relevante aanbestedingen mee in de analyse.
Het traject na deze analyse ligt verder bij de aanbestedende dienst. Wel biedt TenderTrends
Risicobeheer
De volgende mitigerende maatregelen zijn getroffen binnen het model:
- De gebruiker maakt voorafgaand aan de data-analyse een keuze van de daadwerkelijk relevante aanbestedingen. Hierdoor is er een menselijke tussenkomst en wordt er gecontroleerd op welke data het model de analyse baseert.
- TenderTrends toont en gebruikt alleen openbaar beschikbare data. Hiermee voorkomen we dat er gevoelige informatie wordt opgenomen in het model en daarmee publiekelijk beschikbaar komt.
- Het model maakt gebruik van een ‘lokale dataset’ die vrij is van gevoelige informatie. Het model communiceert dus niet direct met een interne database. Hiermee zijn er minder afhankelijkheden van onderlinge systemen (database moet benaderbaar zijn) en is er geen risico op een aanval op de database (informatiebeveiliging).
- Andere mitigerende maatregelen zijn zaken zoals de manier van presentatie van data zodat dit toegankelijker is voor de gebruiker. Het beste voorbeeld is de output van het model, dit is een statische score die moeilijk te begrijpen is voor mensen die niet thuis zijn in het vakgebied van taaldata. Er is gekozen om de score te hernoemen naar ‘mate van overeenkomst’ en weer te geven als een gevulde balk. Hoe voller de balk hoe groter de overeenkomst met de zoekopdracht.
Werking
Gegevens
Gebruikte gegevens voor het algoritme zijn: de namen van alle Nederlandse openbare aanbestedingen, de bijbehorende beschrijvingen en aanbestedende diensten. De volgende gegevens van de aanbestedingen zijn gebruikt:
- Kenmerk van de aanbesteding
- Naam aanbestedende dienst
- Type aanbestedende dienst
- Locatie van de aanbestedende dienst
- Naam van de aanbesteding
- Beschrijving van de aanbesteding
- Definitieve waarde van de aanbesteding
- Munteenheid van de definitieve waarde van de aanbesteding
- Opdrachttype van de aanbesteding
- Procedure van de aanbesteding
- Gunningscriteria van de aanbesteding
- Status van de aanbesteding
- CPV-code van de aanbesteding
- CPV-omschrijving van de aanbesteding
- Startdatum aanbesteding
- Einddatum van de aanbesteding
- Startdatum van de aanbesteding
- Aantal gunningen van de aanbesteding
- Aantal ingeschreven ondernemers op de aanbesteding
- Opdrachtaard van de aanbesteding
- ID van de eerste publicatie behorende bij de aanbesteding
- Aantal nota’s van inlichtingen bij de aanbesteding
- Aantal gestelde vragen over de aanbesteding
- Aantal beantwoorde vragen bij de aanbesteding
- Aantal percelen bij de aanbesteding
- Gegunde ondernemingen bij de aanbesteding
- Contactpersoon van de aanbestedende dienst
- Telefoonnummer van de contactpersoon van de aanbestedende dienst
- Kenmerk of de aanbesteding een marktconsultatie betreft
Links naar gegevensbronnen
Technische werking
TenderTrends gaat met een taalmodel - op basis van opgegeven zoekwoorden en filters - op zoek naar de meest relevante aankondigingen voor de gebruiker (inkopers van (de)centrale overheden, publiekrechtelijke instellingen en speciale-sectorbedrijven). Vervolgens heeft de gebruiker de mogelijkheid om de voor hen relevante aankondigingen verder te selecteren. Deze selectie wordt vervolgens omgezet in inzichten voor de gebruiker door middel van grafieken en tabellen (bijvoorbeeld gemiddeld aantal percelen).
Het taalmodel is getraind met historische en openbare data van aanbestedingen. De titel en de omschrijving van de aanbestedingen zijn aan elkaar geplakt. Vervolgens zijn typische Nederlands stopwoorden verwijdert uit de tekst (bijv. de, het, een, zoals, omdat). Met de overgebleven teksten is een woordenboek gemaakt waarin alle woorden zijn geteld. Als laatste komt er een getal uit het model dat aangeeft of een woord heel veel informatie bevat (een hoog getal) of weinig informatie (een laag getal). Hoe vaker een woord gebruikt wordt hoe lager het getal. Deze getallen worden na een bepaalde tijd opnieuw berekend. Het uitrekenen van deze getallen is het zelflerende onderdeel.