Door: Susan van Esch
Stel je voor…
Het is juli 2040 en de dagen zijn zonnig en warm. Volgende week is er weinig wind voorspeld: slechts een briesje uit zuidoostelijke richting. In het verleden was tijdens die week in juli altijd veel drukte op de weg. Inderdaad staan de agenda’s van veel Nederlanders vol met afspraken waar ze normaal gesproken met de auto naar toe reizen. Een voorspellend systeem voorziet een grote kans op smog. Automatisch stijgen brandstofprijzen, zijn treinkaartjes spotgoedkoop, stelt je agenda zich in op digitale afspraken en gaat je wekker later omdat je niet meer hoeft te reizen naar je afspraak. Ook met je gezondheid houdt het systeem rekening. Astma patiënten ontvangen preventief een extra voorraad medicatie voor hun inhalator en de ramen van huizen openen die week niet aan de straatkant om vervuiling van de lucht binnen te minimaliseren. De smog wordt voorkomen en er treden geen gezondheidsklachten op.
De zelfregulerende stad
Dit toekomstscenario stel ik voor me als ik denk aan zelfregulerende slimme stad. In zo’n stad zijn verschillende systemen aan elkaar gekoppeld en wisselen deze data uit om processen in de stad zo efficiënt, veilig en gezond mogelijk te regelen. Data over de publieke ruimte zoals verkeer en luchtkwaliteit zijn mogelijk ook gekoppeld aan persoonsgebonden informatie (denk aan het voorbeeld van de wekker en medicijnen). Op basis van vooraf bepaalde waarden en door zelflerende algoritmes nemen systemen automatisch preventieve maatregelen. Het voordeel hiervan is dat er razendsnel gestuurd wordt op complexe samenhangende factoren die de stad beïnvloeden. Waarop het systeem stuurt is afhankelijk van degenen die de systemen bouwen, de data die beschikbaar is en de mensen die er besluiten over nemen.
Wie bepaalt nu?
Wie anno 2022 stuurt met data en er de eigenaar van is verschilt over de wereld. In bijvoorbeeld China heeft de overheid de stad en data in handen, waarin landen als Amerika meer macht bij grote bedrijven als Google ligt. Europa kiest meer de middenweg, waarbij Europese regelgeving richting geeft. Waarden als democratie, gezondheid, autonomie, privacy en veiligheid staan hier hoog in het vaandel.
Ethiek gaat over waarden
Wat heeft de slimme stad te maken met ethiek? Ethiek gaat over het overwegen van wat goed en slecht is. Hierin kunnen verschillende stromingen onderscheiden worden. Een bekende stroming is het utilitarianisme. Hierbij is iets goed wanneer het het geluk van zoveel mogelijk mensen tot gevolg heeft. Een andere opvatting van het goede is meer intentiegericht: wanneer men andere mensen wil behandelen als doel en niet als middel is iets de goede keuze. Zo zijn er meerdere stromingen te noemen. Uiteindelijk is het antwoord op de vraag ‘wat is goed’ in grote mate subjectief en daarom afhankelijk wie de vraag stelt. Ook het tijdstip van de vraag is in grote mate bepalend. In het jaar 1800 vonden we andere dingen goed dan nu. De waarden waarmee we de stad nu vormgeven, zijn misschien afwijkend van wat onze achterkleinkinderen beschouwen als wenselijk. Het is daarbij lastig ons voor te stellen met welke technieken die achterkleinkinderen te maken krijgen. Technische mogelijkheden ontwikkelen zich zo snel dat we soms zelf nog niet eens weten of we het wenselijk vinden, laat staan wat de gevolgen ervan zijn. Een mooi voorbeeld is het deepfake filmpje van Sedar Soares dat vragen oproept over digitale onsterfelijkheid. Of bijvoorbeeld de leesvinkjes in whatsapp die handig zijn, maar ook voor sociale druk zorgen vanwege de verwachting dat je na het lezen van een bericht snel moet reageren. De veranderlijkheid en subjectiviteit van waarden maakt het lastig om een ‘goede keuze’ voor verschillende situaties vast te stellen. Om een beeld te gebruiken: elk slot is anders, en heeft daarom een unieke sleutel nodig.
Waar zien we ethiek in de (slimme) stad?
De stad is een epicentrum van verschillende waarden, behoeften en belangen. Simpelweg omdat er veel verschillende individuen samenleven met andere overtuigingen over wat “goed en kwaad” is. De één geeft meer om het milieu en de ander heeft belang bij een groeiende economie bijvoorbeeld. Deze voorkeuren zijn bepalend voor hun gedrag in de stad. Naast wat een individu als waarden heeft, zijn er ook collectieve of gegeneraliseerde waarden. Zo zijn er verschillende commerciële bedrijven die in de stad een belang hebben, naast natuurlijk (democratisch gekozen) overheidspartijen. Deze organisaties maken ook waardenoordelen, waarbij met name de overheid keuzes telkens moet afstemmen op de moraal van de burger die hen verkozen heeft. Hierbij is meestal de stem van de meerderheid leidend. Interessant is dat bedrijven en de overheid een sterker en directer belang hebben bij de zelfregulerende slimme stad dan de burgers die er wonen. Het is immers de overheid haar taak om de leefbaarheid van de stad te bewaken, en belastinggeld zo efficiënt en doelgericht mogelijk te besteden. Daarom is het in het belang van bestuurders om zo veel mogelijk data tot hun beschikking te hebben om zo gegrond keuzes te maken. Commerciële bedrijven zijn geïnteresseerd in data omdat ze daarmee klanten beter dienen en identificeren, daarmee hun bestaansrecht behouden en winst kunnen maken. Burgers kunnen hun eigen zaken vaak prima regelen zonder slimme algoritmen en complexe systemen. Het belang van burger, commerciële bedrijven en de overheid kunnen samenvallen, maar vaak ontstaan hier ook wrijvingen. De ideale stad is voor sommige burgers bijvoorbeeld een stad waar ze niet bekeken, gemeten of gestuurd worden door anonieme technische mechanismen die van veraf opgelegd zijn en waar ze geen weet van hebben, laat staan grip op hebben of direct controle op uit kunnen oefenen.
Techniek en ethiek
Hoe vernuftiger technieken zijn en hoe meer men kan meten, analyseren en manipuleren, voor hoe meer ethische keuzes we staan. Immers, wanneer je informatie over iets hebt en er invloed op uit kan oefenen, vraagt dat om een keuze. Die keuzes reiken ver! Wanneer de bouwer van een voorspellend systeem eenmalig kiest (bewust of onbewust) om een discriminerende factor mee te laten wegen, heeft dit gevolgen voor alle gebruikers of voor alle mensen van wie de gegevens verzameld zijn. Natuurlijk kunnen we bij het maken van systemen proberen ethiek in te bouwen. Maar zijn we in staat om universele regels te maken voor ethisch handelen? Is ethiek niet altijd maatwerk, subjectief, en niet te generaliseren naar één goede keuze op basis van vooraf bedachte limitatieve en meetbare kenmerken van een situatie? En zijn we in staat die afweging mee te laten veranderen met de tijd? Of utopisch gedacht: kunnen we door het uitsluiten van willekeur systemen maken die misschien nog wel ethischer zijn dan wijzelf? Denk hierbij aan robot Sigmund, die ontwikkeld wordt om objectiever sollicitatiegesprekken te voeren dan mensen. In de krant vinden we regelmatig bewijs dat zaken ook misgaan vanuit ethisch oogpunt. Een treffend voorbeeld van de verreikende schade die dit kan veroorzaken is de toeslagenaffaire. Door dit soort gebeurtenissen komt er steeds meer aandacht voor de noodzaak om op een bewuste manier de ethische impact te doordenken bij datagebruik, techniek en AI (Artificiële Intelligentie). Het spannende van met name die laatste is dat soms zelfs de makers van de systemen de grip lijken te verliezen op de werking en betekenis van uitkomsten.
.
Waar ligt keuzeverantwoordelijkheid?
Dat komt door dat zelflerende en slimme algoritmes zelf keuzes maken over wat wenselijk is. Door de complexiteit van de systemen is soms niet meer navolgbaar waarom bepaalde keuzes worden gemaakt en welke waarden hierin doorslaggevend zijn. Vrijheid om keuzes te maken is essentieel voor ethiek. Wanneer we niet vrij zijn is er weinig sprake van goed of slecht handelen. Als onze stad zelfregulerend is, verliezen we dan de vrijheid en de grip die we nodig hebben om ethisch te handelen? Neemt op lange termijn het kritisch denkvermogen van mensen af doordat ze niet meer zelf hoeven na te denken over hoe dingen in de stad geregeld worden, en ook niet kunnen weten waarom dingen op een bepaalde manier gebeuren? Wie draagt in zo’n stad de verantwoordelijkheid voor leefbaarheid van de stad?
Zijn we bewust genoeg?
Zoals genoemd neemt het bewustzijn van de ethische impact van technieken (of juist van het niet toegang hebben tot die technieken) toe. Steeds meer overheden en ook marktpartijen geven ethiek een plek in hun project of organisatie. Dit wordt verder aangewakkerd door signalen in de media. Denk aan de al genoemde toeslagenaffaire, zorgen over gebruik van artificiële intelligentie, maar ook aandacht voor de digitale kloof en protesten tegen de sleepwet. Deze voorbeelden laten ook zien dat er nog genoeg te doen staat op vlak van ethiek bij technologisering en digitalisering. Een onderzoek van iBestuur wijst wat mij betreft terecht uit dat er een zorgwekkende kenniskloof is tussen ICT’ers en stedenbouwers. De technici die de algoritmes bouwen hebben weinig kennis van stedelijke ontwikkeling. Andersom weten die specialisten die de stad begrijpen, besturen en beheren weer weinig van algoritmes. Graag voeg ik hier nog aan toe dat bewoners ervaringsdeskundigen van de stad zijn en kennishouders als het gaat om gelukkig zijn in de stad. Zij weten uit eerste hand hoe hun stad is. Ook tussen burgers en professionals bestaat dus een zorgwekkende kloof. Een voorbeeld. Waar commerciële partijen en overheden routes van A naar B plannen op basis van zaken als doorstroming, milieuzones, eerder geregistreerde voorkeuren en efficiëntie, word ik misschien wel gelukkiger van de groenste route waarbij ik onverwacht een nieuw winkeltje tegenkom en spontaan iemand ontmoet van buiten mijn bubbel. Maken we systemen die de stad ook nog een plek laten zijn waar we verrast worden, lummelen en mensen ontmoeten die niet in hetzelfde interesseprofiel vallen als wij?
Een oproep voor ethische zelfregulerende stad van de toekomst
Hoe geven we ethiek, met haar veranderlijke en subjectieve karakter, in technische (data gerichte) systemen, met een sterk geautomatiseerd en universeel karakter, een plek? Kan dat überhaupt? Ik geloof dat het belangrijk is om deze vraag te stellen en om hierover tussen burgers, commerciële partijen en overheid het gesprek aan te gaan. Zo kunnen we de kenniskloof dichten en meer grip creëren op onze steden. Laten we samen ethische impact doordenken van de technische toepassingen die gebouwd worden en zo inclusief en democratisch mogelijk het gesprek voeren over waarden die hieraan ten grondslag liggen. Door hierover het gesprek aan te gaan en ethiek een prominentere plek te geven, zijn we beter voorbereid op de toekomst. Dan rennen we minder achter de techniek en haar impact aan, en pakken we de kans om op een democratische en meer overwogen manier te reageren op de verassingen die techniek ons hoe dan ook gaat geven. Wanneer we ons bewustzijn vergroten van onze eigen vooroordelen en blinde vlekken, kunnen we daar wat aan doen in de technieken die we ontwerpen. Dit zijn complexe en tijdrovende processen. Maar wanneer we deze stap overslaan, loop we de kans later tegen mislukkingen aan te lopen of dure aanpassingen te moeten maken. Of belangrijker nog: dat we een stad creëren, waarin we niet gelukkig zijn. Dit is een oproep aan de overheid om dat gesprek als voorwaarde te stellen. Dit is een oproep aan bouwers van technische toepassingen om het voortouw te nemen in het betrekken van bewoners bij het gesprek over hoe we willen dat stad van de toekomst eruit ziet. Dit is een oproep aan burgers om daarin mee te denken. Dit is een oproep om het gesprek over waarden en ethiek onderdeel te laten zijn van het maatschappelijk debat en organisatiecultuur.
