ChatAmsterdam

Gemeente Amsterdam

Onderzoek naar inzet van een Generatieve AI chatbot voor medewerkers van de Gemeente Amsterdam

Laatst gewijzigd op 21 oktober 2024 om 15:57 | Publicatiestandaard 1.0

• Publicatiecategorie: Hoog-risico AI-systeem
• Impacttoetsen: DPIA, ...
• Status: In ontwikkeling

Algemene informatie

Thema

Organisatie en bedrijfsvoering

Begindatum

11-2024

Einddatum

03-2025

Contactgegevens

[e-mail]

Link naar bronregistratie

Dit is een interne repository die alleen toegankelijk is voor medewerkers van de gemeente Amsterdam.

Verantwoord gebruik

Doel en impact

Generatieve AI biedt veel mogelijkheden om het werk te verlichten zoals het vinden van informatie, het samenvatten van documenten, het analyseren van data of het helpen schrijven van stukken.  

 

Maar deze technologie heeft ook keerzijdes: het trainen van AI kost veel energie en natuurlijke grondstoffen, eigenaren van het bronmateriaal voor het trainen van de modellen worden niet betaald, en het model kan – afhankelijk van de bronnen – racistische of andere ethisch onwenselijke resultaten opleveren.  

Los van deze algemene kritiekpunten, zijn er ook risico’s voor de organisatie. Documenten die aangeboden worden aan een chatbot, kunnen door de leverancier gebruikt worden om het model verder te trainen. Wat als daar gevoelige informatie in staat? Of als een ambtenaar de bot raadpleegt om informatie te vinden om besluitvorming te ondersteunen, terwijl het model antwoord geeft op basis van gedateerde of ronduit onjuiste informatie?  

 

Om de waarde van Generatieve AI voor Amsterdam te verkennen en tegelijkertijd de praktijkrisico’s in kaart te brengen, is er onderzoek nodig. Medewerkers van Amsterdam gaan daarom gedurende een beperkte periode een interne Generatieve AI chatbot gebruiken: ChatAmsterdam. Deze chatbot is gebouwd met het GPT4.0 taalmodel van Open AI en is verder niet aangepast of aangevuld met (interne) trainingsdata.  

 

Gedurende de onderzoeksperiode worden gebruiksgedrag, waarde en risico’s in kaart gebracht om te bepalen of we deze technologie in de toekomst gaan gebruiken. 

Afwegingen

We weten dat Generatieve AI al gebruikt wordt door medewerkers én we erkennen de kansen en de risico’s. Er zijn volop toepassingen te bedenken voor de organisatie: zowel intern als extern. Maar voordat we Generatieve AI toestaan (binnen de compliancy eisen) binnen de Gemeente Amsterdam is er onderzoek nodig. Hoe communiceren mensen met een bot? Wat voor (gevoelige) informatie wordt er meegestuurd in de prompts? Waarvoor worden de resultaten gebruikt? Hoe waardevol is de technologie voor de gemeente Amsterdam en de burgers en ondernemers van de stad? 

Deze antwoorden helpen de gemeente Amsterdam om de technologie veilig, verantwoordelijk en gericht in te zetten. 

Menselijke tussenkomst

De chatbot en onderliggend taalmodel nemen geen zelfstandige besluiten en zijn ook geen onderdeel van een automatisch besluitvormingsproces zonder tussenkomst van een mens.  

 

Alle gegenereerde antwoorden worden bekeken door de gebruiker die de vraag/opdracht aan de chatbot stelde. Vervolgens gaat de gebruiker aan de slag met het antwoord, bijvoorbeeld door het deels of geheel over te nemen of door verdere vragen te stellen aan de chatbot. De gebruiker zit altijd tussen het gegenereerde antwoord van de chatbot en de taak of het proces waar het antwoord voor wordt gebruikt.  

Risicobeheer

ChatAmsterdam wordt als interne chatbot aangeboden aan interne werknemers van de gemeente Amsterdam.  

 

De chatbot-applicatie, de data en hosting-omgeving voldoen aan de geldende BBN2 security-normen om risico op datalekken en veiligheidsincidenten te minimaliseren.  

 

Alle ingevoerde prompts worden opgeslagen en handmatig beoordeeld op mogelijke ethische risico's, bias en eventuele datalekken.  

 

Daarnaast is er een twee-laagse filterfunctie. De prompt-filter van Microsoft filtert alle prompts voor gevaarlijke en onethische zaken zoals discriminatie, zelfmoord of misbruik. De tweede filter is een intern ontwikkeld prompt-filter die specifiek zoekt naar risicovolle inhoud zoals het gebruik van gevoelige data, etnische profilering et cetera 

 

Deze risico-prompts worden apart opgeslagen en voorgelegd aan de relevante Risk/AI-officers voor inhoudelijke beoordeling. 

Toelichting op impacttoetsen

Amsterdam voert momentel de ethische impacttoets uit in de vorm van een Ethische Bijsluiter. Deze is voltooid voor dit algoritme.

Impacttoetsen

• Data Protection Impact Assessment (DPIA)
• Ethische Bijsluiter

Werking

Gegevens

ChatAmsterdam maakt gebruik van het Open AI LLM, specifiek GPT4.0. Dit is hetzelfde taalmodel (algoritme) dat ook in ChatGPT gebruikt wordt. 

 

Dit taalmodel is niet verder getraind met aanvullende (interne) data. Het taalmodel is wordt gebruikt zoals het is, zonder veranderingen of fine-tuning. 

Technische werking

ChatAmsterdam als Generatieve AI chatbot maakt gebruik van het GPT4.0 taalmodel in de huidige vorm zonder toevoeging van (interne) trainingsdata of andere gegevens. Het is hetzelfde taalmodel dat ChatGPT gebruikt.  

 

ChatAmsterdam werkt op een soortgelijke wijze als ChatGPT. Medewerkers kunnen een vraag stellen of opdracht geven (een zogenaamde ‘prompt’) aan de chat-applicatie en ontvangen vervolgens een gegenereerd antwoord. Een voorbeeld hiervan is de samenvatting of herschrijving van teksten.  

 

Het taalmodel verwerkt de ingevoerde vraag of opdracht en meegestuurde informatie en stuurt vervolgens het gegenereerd antwoord terugnaar de gebruiker. 

Leverancier

Het algoritme (in dit geval het taalmodel GPT4.0) wordt geleverd door Microsoft via het Azure cloud platform.