Objectherkenning Openbare Ruimte Containers

Directie V&OR heeft het Computer Vision Team van de gemeente Amsterdam (hierna: CVT) opdracht gegeven om te verkennen hoe objectherkenning kan helpen om te voorkomen dat kwetsbare bruggen en kademuren instorten, doordat hier zware objecten op worden geplaatst. Container zijn zware objecten die de kans op instorting vergroten. Momenteel is er geen duidelijk zicht op waar deze containers zich bevinden in (kwetsbare) delen van de stad. 

Tijdens de Pilot wordt getest of containers succesvol kunnen worden herkend in de openbare ruimte met een scanvoertuig die is voorzien van een camera. Na het herkennen van containers in de openbare ruimte, kan een signaal worden genereerd. Door dit signaal te voorzien van aanvullende informatie uit (gemeentelijke) bronnen, kan het werk van toezichthouders ook beter worden uitgevoerd. Dit kan bijvoorbeeld door in een melding informatie op te nemen over hoe urgent het signaal is op basis van de kwetsbaarheid van de betreffende kade waar de container op is geplaatst. Daardoor kan prioriteit worden gegeven aan urgente situaties. 

Naast het genereren van een signaal kunnen medewerkers gebruik maken van een digitale kaart waarop de aangetroffen containers worden weergeven. 

Update 2024:

De pilot is inmiddels succesvol afgerond. Het is gebleken dat containers succesvol kunnen worden herkend en dat de technologie kan worden ingezet om doelgerichter verkeerd geplaatste containers te identificeren.

Er is geen sprake van geautomatiseerde besluitvorming door gebruik te maken van de beeldherkenningsvoorziening. De voorziening genereert wel geautomatiseerd een signaal. Dit signaal wordt vervolgens (handmatig) beoordeeld door een toezichthouder, waarna mogelijkerwijs een buitendienstonderzoek zal plaatsvinden. De toezichthouder doet zelfstandig een beoordeling of de situatie legaal of illegaal is. Als dit laatste het geval is, zal een handhaver zelfstandig een besluit nemen. Daarmee is er sprake van voldoende betekenisvolle menselijke tussenkomst. 

De ‘output’ van de algoritmes draagt wel bij aan het nemen van de ‘beslissing’ om al dan niet nader onderzoek (buitendienstonderzoek) te doen naar de waargenomen container in de openbare ruimte. Daarmee is de voorziening (met bijbehorende algoritmes) dus wel van wezenlijke invloed. 

Naam: Trainingsdataset voor de ontwikkeling van de algoritmes <beperkt aantal tekens mogelijk, zie voor volledige beschrijving algoritmeregister.amsterdam.nl>

Datasetbeschrijving

De gemeente heeft voor de ontwikkeling van het beeldherkennings- en bluralgoritme een reeds beschikbare dataset gebruikt. 

Bluralgoritme

Het gaat om grofweg 10.000 beelden met ruwe, dus niet geanonimiseerde, data. Deze beelden waren nodig om het algoritme handmatig personen en kentekens te leren herkennen, zodat deze kunnen worden verwijderd van beelden. Dit proces wordt ‘annotatie’ en ‘trainen’ genoemd. Deze beelden zijn alleen toegankelijk voor een aantal ontwikkelaars die de modellen trainen. De beelden blijven bewaard zolang het algoritme mogelijk doorontwikkeld moet worden.

Beeldherkenningsalgoritme. 

Om dit algoritme containers goed te leren herkennen, zijn grofweg 1500 deels wel en deels niet-geanonimiseerde beelden gebruikt om het algoritme handmatig te trainen. Het gebruiken van niet-geanonimiseerde beelden was hiervoor noodzakelijk, zodat de context (openbare ruimte van gemeente Amsterdam) zoveel mogelijk intact wordt gehouden. Dat zorgt dat zorgt ervoor dat het algoritme beter in staat is om de containers te herkennen. Anders dan bv. Google Maps, blurt de gemeente ook het gehele postuur van personen in de openbare ruimte.

Naam: Productiedata

Datasetbeschrijving

Beelden

Het Scansysteem legt beelden vast die de volgende metadata bevatten:

• Datum;
• Tijdstip;
• Locatie (Coördinaten volgens ‘WGS84’ (EPSG 4326) en volgens ‘Amersfoort / RD New (EPSG 28992)));
• Heading (uitgedrukt in graden startend vanuit het noorden).

Deze beelden worden vervolgens allemaal geanonimiseerd met het bluralgoritme dat de gemeente Amsterdam heeft ontwikkeld. Direct hierna worden de beelden gefilterd op beelden met containers erop met het beeldherkenningsalgoritme ‘containers’. Alle beelden waarop géén containers zichtbaar zijn worden meteen verwijderd. De beelden met containers erop worden verrijkt met de volgende gegevens. 

...

<Zie voor een volledige beschrijving algoritmeregister.amsterdam.nl gegeven de beperking op het aantal tekens>

Prestatie

De algoritmes presteren goed op basis van resultaten met de trainingsdataset. De beoogde Pilot is noodzakelijk om de algoritmes te testen met productiedata. De prestaties worden nauwkeurig gemeten gedurende de Pilot. Desondanks heeft elk algoritme ook een zogenaamde foutmarge. Het CVT heeft dit onderzocht en deze doen zich voor bij de volgende situatie:

• Beeldherkenningsalgoritme

De container is te ver weg waardoor het algoritme de container niet herkent. Het risico dat de container wordt gemist is echter klein, nu het waarschijnlijk is dat in het risicovolle gebied het scanvoertuig uiteindelijk toch langs de container komt, waardoor deze kan worden herkend. 

• Bluralgoritme

Het bluralgoritme heeft momenteel een accuraatheid van grofweg 95% voor mensen die dicht bij de camera staan. Voor mensen die verder weg staan van de camera ligt dat rond de 92%. Middels visuele inspectie op een steekproef is gebleken dat de personen die niet herkend worden meestal niet herkenbaar zijn, omdat zij bijvoorbeeld deels achter een boom staan. Idealiter worden deze personen uiteraard ook geblurred. De komende maanden wordt het bluralgoritme verder doorontwikkeld. Er wordt verwacht dat de prestatie verder zal verbeteren en bij benadering de 99% zal halen. Voor de Pilot, en gezien alle maatregelen die worden genomen om de beelden veilig te verwerken, wordt de 95% accuraat voor nu als voldoende beschouwd. Als extra maatregelen worden afbeeldingen verwijderd op basis waarvan géén signaal wordt gegenereerd. Dit wordt binnen 24 uur gedaan. 

Update 2024: Inmiddels is Blurring as a Service (BaaS) in gebruik genomen, dit zal in een mogelijk vervolgtraject worden ingezet om de beelden te anonimiseren.